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作者 认为 写作 本 书 非常 不 易 ， 译 者 深 以 为 然 。 翻 译本 书 的 主要 困难 源 目 
于 我 们 与 作者 在 知识 积累 上 的 巨大 差距 ， 作 者 在 前 言 中 写 道 “ 我 从 1989 
年 开始 攻读 博士 学 位 ， 在 并 行 计算 和 分 布 式 计算 的 领域 深造 >， 那 年 我 
只 有 一 岁 。 我 无 法 精通 本 书 介绍 的 七 个 模型 中 的 所 有 技术 细节 ， 因 此 没 
有 目 信 确保 全 无 差错 ， 只 能 竭尽 所 能 保证 译文 不 会 有 大 的 偏差 。 


在 此 要 问 提 供 帮 助 的 人 们 致 以 谢意 。 首 先 ， 感 谢 图 灵 的 编辑 老师 ， 他 们 
辛勤 的 工作 完善 了 本 书 的 每 个 细 市 ;， 其次， 要 感谢 我 的 父 杀 一 一 大 连 海 
事 大 学 的 黄 映 辉 教授 ， 他 为 本 书 进 行 了 三 次 审 校 ， 对 字句 进行 了 细致 冉 
酌 ， 大 幅 提 升 了 本 书 的 可 读 性 ， 然 后 ， 要 感谢 我 的 丽 友 一 一 工作 于 Fox 
News Digital 的 孙 培 产 ， 他 为 本 书 进 行 了 中 英文 的 对 照 审 校 ， 帮 助 矫正 
了 翻译 过 程 中 的 很 多 请 误 ， 还 要 感谢 工作 于 喜马拉雅 的 柳 飞 提供 的 莫大 
a a a 
系列 中 。 


本 书 介绍 了 七 种 并 发 模型 ， 行 文通 俗 易 懂 ， 有 数量 充足 且 设 计 精 民 的 样 
例 来 帮助 读者 理解 。 读 完 本 书 ， 我 最 大 的 感受 是 世界 变 得 更 大 了 ， 想 要 
学 习 的 有 趣 的 东西 变 得 更 多 了 。 和 希望 大 家 该 完 后 也 有 类 似 有 趣 的 体验 。 
用 一 个 亲 里 经 历 的 趣事 来 结束 本 订 。 

几 年 前 ， 我 去 东软 公司 应 聘 ， 电 话 面试 中 与 面试 官 有 如 下 一 番 对 话 。 
面试 官 : 你 了 解 多 线程 并 发 吗 ? 


A eg ee gee ea eg E gen gd pa 


面试 官 : REH J. URN AGNES ENG? 
我 : 是 的 。 
面试 官 : 那 我 们 还 是 来 聊 一 聊 并 发 吧 。 


















































祝 大 家 线程 安全 。 
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推荐 序 
本 书 将 讲述 一 个 完整 的 故事 。 


将 此 作为 一 本 书 的 首要 定位 似乎 有 点 奇怪 ， 但 对 我 而 言 这 很 重要 。 我 们 
曾 回绝 数 十 位 申请 撰写 “七 周 系列 丛书 ”的 作者 ， 他 们 认为 只 要 将 七 个 分 
散 主题 拼 谈 起 来 就 是 一 本 书 ， 但 这 有 违 我 们 的 初衷 。 


先前 的 《七 周 七 语言 : 理解 多 种 编程 范 型 》- 讲述 了 一 个 面向 对 象 编程 
语言 的 故事 ， 这 是 很 适应 当时 的 环境 的 。 但 在 多 核 架 构 的 驱动 下 ， 软 件 
复杂 度 的 增长 和 并 发 技术 的 发 展 所 带 来 的 压力 ， 将 函数 式 编 程 推 到 舞台 
之 上 ， 并 对 今后 的 编程 方式 有 着 深远 的 影响 。Paul Butcher 是 《七 周 七 语 
言 》 最 给 力 的 审 校 者 之 一 ， 相 识 四 年 后 ， 我 开始 理解 其 中 原因 。 


1 本 书 中 文 版 电子 书 在 图 灵 社 区 有 售 : http://www.ituring.com.cn/book/829 。 一 ”编者 注 






































Paul 一 直 奋 斗 在 将 高 可 扩展 的 并 发 拉 术 应 用 于 实际 业务 系统 的 第 一 线 。 
读 过 《七 周 七 语言 》 后 ， 对 于 他 所 处 的 日 益 重 要 但 日 趋 复杂 的 问题 领 
域 ，Paul 党 得 可 以 从 编程 语言 级 别 获得 一 些 启发 。 几 年 后 ，Paul 表 示 要 
写 一 本 自己 的 书 。 他 解释 道 : 尽管 编程 语言 在 整个 故事 中 有 着 重要 的 作 
用 ， 但 也 只 触及 了 问题 的 表面 。 他 要 为 读者 讲述 一 个 更 完整 的 故事 ， 为 
TESLA EAT RP 以 解决 大 型 并 行 问题 的 扩展 性 展 好 的 重 
B LR- 


一 开始 我 们 是 持 怀疑 态度 的 。 这 类 书 是 很 难 写 的 一 一 比 起 其 他 领域 的 

书 ， 这 类 书 需要 人 花费 更 长 的 时 间 ， 而 且 失败 的 几率 很 高 一 一 Paul 显 然 选 
择 了 一 块 难 踢 的 骨头 。 作 为 一 个 团队 ， 我 们 不 断 磨合 前 进 ， 终 于 从 最 初 
的 大 纲 中 研磨 出 一 个 优秀 的 故事 。 随 独 书 稿 逐渐 完成 ， 我 们 更 加 目 信 于 
Paul 的 技术 能 力 和 攻关 热情 。 现 在 ， 我 们 已 经 确信 这 是 一 本 特别 的 书 ， 

而 且 恰 逢 其 时 。 随 着 阅读 的 深入 ， 我 相信 你 也 会 同意 这 个 观点 。 


当 你 在 开篇 阅读 到 "线程 与 锁 ? 这 种 当今 最 广泛 使 用 的 并 有 解决 方 案 时 ， 
可 能 会 不 以 为 然 。 不 过 你 很 快 就 会 看 到 这 种 解决 方案 的 不 足 之 处 ， 并 开 
始 思考 如 何 解决 。Paul 将 引领 你 学 习 多 种 非常 不 同 的 技术 ， 从 一 些 社交 
平台 使 用 的 Lambda 架 构 ， 到 现今 世界 上 许多 最 大 最 可 靠 的 电信 系统 使 


























用 的 actor 模 型 。 你 会 学 到 职业 高 手 使 用 的 一 些 语言 ， 从 Java 到 Clojure， 
再 到 基于 Erlang 的 闪 亮 新 秀 Elixir。 旅 途中 的 每 一 步 ，Paul 都 将 从 专业 的 
角度 为 你 削 析 其 中 的 委 妙 和 精彩 。 


在 此 ， 我 诚意 奉 上 《七 周 七 并 发 模型 》。 和 希望 你 和 我 一 样 乐 享 其 中 。 





Bruce A. Tate 
icanmakeitbetter.com 网 站 CTO， 七 周 系 列 从 书 主编 
于 美国 德 元 院 斯 州 奥斯汀 
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我 从 1989 年 开始 攻读 博士 学 位 ， 在 并 行 计算 和 分 布 式 计算 的 领域 深造 ， 
当时 我 便 深信 并 发 编程 将 成 为 主流 。 二 十 年 后 ， 我 的 观点 终于 得 以 验证 
整个 世界 都 在 讨论 多 核 以 及 如 何 发 挥 其 优势 。 


学 习 并 发 不 仅 是 为 了 利用 多 核 来 获得 更 好 的 性 能 。 知 正确 使 用 并 发 ， 我 
们 还 能 在 程序 的 响应 性 、 容 错 性 、 效 率 和 简洁 程度 上 获得 大 幅 提升 。 











关于 本 书 

本 书 延 续 了 Pragmatic Bookshelf 的 七 周 系列 丛书 〈《 七 周 七 语言 》《 巧 
周 七 数据 库 》L 《七 周 七 网 络 框架 》) 的 架构 ， 通 过 七 个 精 选 的 模型 帮 
助 读 者 了 解 并 发 领域 的 轮廓 。 这 些 模型 中 ， 一 些 已 经 成 为 主流 ， 一 些 很 
快 会 成 为 主流 ， 另 一 些 虽 难以 成 为 主流 ， 但 在 特定 领域 会 威力 无 务 。 当 
面 对 一 个 并 发 问题 时 ， 你 可 以 借助 本 书 准确 选择 合适 的 工具 ， 这 就 是 我 
的 期 望 所 在 。 


1 本 书 中 文 版 电子 书 在 图 灵 社 区 有 售 :“http://www.ituring.com.cn/book/1369 。 一 一 编者 注 
































本 书 的 每 一 章 都 设计 成 三 天 的 阅读 量 。 每 天 阅读 结束 都 会 有 相关 练习 ， 
人 
陷 。 


尽管 有 少量 具有 哲学 意味 的 讨论 ， 但 本 书 还 是 侧重 于 实践 。 我 强烈 建议 
你 在 阅读 样 例 时 能 杀手 实践 一 下 一 一 没什么 比 代 码 更 有 说 服 力 了 。 

















本 书 未 涉及 的 内 容 


本 书 不 是 语言 参考 手册 。 我 们 会 使 用 一 些 较 新 的 语言 ， 例 如 Elixir 和 
Clojure， 但 本 书 关注 的 是 并 发 而 不 是 编程 语言 ， 所 以 不 会 深入 介绍 这 些 
语言 的 具体 特性 。 希 望 你 通过 上 下 文 可 以 初步 了 解 这 些 语言 的 主要 特 
性 ， 如 果 要 对 其 深入 探究 以 期 充分 理解 ， 就 得 依靠 自身 的 努力 了 。 阅 读 
本 书 时 ， 如 果 手 边 开 着 浏览 器 可 随时 查阅 语言 参考 手册 ， 就 会 事 半 功 


倍 。 


本 书 不 是 安装 配置 手册 。 要 运行 本 书 的 配套 代码 ， 就 需要 安装 和 运行 相 
应 工具 一 一 配套 代码 的 README 文 件 会 给 出 一 些 提示 ， 但 还 是 要 依靠 
你 自己。 本 书 所 有 的 样 例 都 采用 主流 工具 编写 ， 如 宁 遇 到 困难 ， 你 可 以 
在 网 络 上 找到 许多 帮助 资料 。 


本 书 也 不 是 面面俱到 一 一 无 法 圳 括 所 有 议题 的 每 个 细节 。 对 于 茶 些 议 

题 ， 本 书 会 一 笔 带 过 或 者 根本 不 予 讨论 。 在 某 些 章节 中 ， 我 会 特意 使 用 
一 些 不 规范 的 代码 ， 目 的 是 便于 不 画 悉 该 语言 的 读者 来 理解 代码 。 如 果 
你 有 意 深 入 学 习 本 书 中 的 某 种 技术 ， 建 议 阅 读本 书 所 提 及 的 权威 文献 。 






































样 例 代 码 


本 书 讨论 的 所 有 样 例 都 可 以 从 本 书 的 网 站 下载。 每 个 样 例 都 包括 源码 
和 构建 系统 。 对 于 每 一 种 语言 ， 本 书 都 选用 最 通用 的 构建 系统 〈Java 使 
用 Maven，Clojure 使 用 Leiningen，Elixir 使 用 Mix，Scala 使 用 sbt，C 使 用 
GNU Make) 。 


2 http://pragprog.com/book/pb7con 





大 多 数 情况 下 ， 构 建 系统 不 仅 会 编译 代码 ， 而 且 会 下 载 所 需 的 额外 依 
赖 。sbt 和 Leiningen 甚 至 会 下 载 对 应 版 本 的 Scala 和 Clojure 的 编译 器 ， 所 
以 你 只 需要 下 载 并 安装 构建 系统 即 可 〈 在 网 络 上 可 以 找到 详尽 的 安装 步 


IR) 。 


不 过 第 7 章 中 使 用 的 C 代 码 是 个 特例 ， 需 要 根据 你 的 操作 系统 和 显卡 类 型 
安装 相应 的 OpenCL 工 具 包 除非 你 使 用 的 是 Mac， 因 为 Xcode 会 搞定 一 
切 ) 。 





给 IDE 用 户 的 建议 


本 书 使 用 的 构建 系统 都 在 命令 行 下 测试 通过 。 如 果 你 是 成 熟 的 IDE 用 
户 ， 一 定 知道 如 何 将 构建 系统 导入 到 IDE 中 一 一 大 多 数 IDE 都 会 兼容 
Maven， 主 流 IDE 也 都 有 兼容 sbt 和 Leiningen 的 插件 。 不 过 我 没有 在 IDE 
中 测试 过 ， 所 以 你 与 我 一 样 使 用 命令 行 也 许 会 容易 一 些 。 





给 Windows 用 户 的 建议 


所 有 的 样 例 均 在 OS X 和 Linux 上 测试 通过 。 理 论 上 ， 它 们 也 可 以 在 
Windows 上 运行 良好 ， 但 我 并 没有 验证 过 。 


第 7 章 中 使 用 的 C 代 码 是 个 特例 ， 其 使 用 了 GNU Make 和 GCC。 理 论 上 是 
能 被 迁移 到 Visual C++ 中 ， 但 我 没有 尝试 过 这 种 可 能 。 


本 书 中 的 样 例 都 可 以 在 本 书 网 站 上 找到 。 如 果 你 要 提交 勘误 或 者 给 出 建 
议 ， 也 可 以 在 网 站 上 找到 勘误 表格 和 交流 论坛 。 





Paul Butcher 
Ten Tenths Consulting 
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第 1 半 概述 


并 发 编程 的 概念 并 不 新 ， 却 直到 最 近 才 火 起 来 。 一 些 编程 语言 ， 如 
Erlang、Haskell、Go、Scala、Clojure， 也 因 对 并 发 编程 提供 了 良好 的 文 
持 ， 而 受到 广泛 关注 。 


并 发 编程 复兴 的 主要 驱动 力 来 自 于 所 谓 的 “多 核 危 机 "。 正 如 摩尔 定律 ， 
所 预言 的 那样 ， 必 片 性 能 仍 在 不 断 提 高 ，CPU 的 速度 会 继续 提升 ， 但 计 
算 机 的 发 展 方向 已 然 转向 多 核 化 2 。 





 http://en.wikipedia.org/wiki/Moore%27s_law 
































areas 不 断 使 用 "core”“CPU”“processor"， 译 者 在 此 尊重 原文 分 别 翻译 成 * 核 ”%CPU”“ 处 理 
A EA UARA LADIES, 而 不 是 狭义 的 硬件 。 译 者 注 
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Herb Sutter 曾 经 说 过 : “免费 午餐 的 时 代 已 然 终 结 。”3” 为 了 让 代码 运行 得 
更 快 ， 单 纯 依 靠 更 快 的 硬件 已 无 法 满足 要 求 ， 我 们 需要 利用 多 核 ， 也 就 
是 发 掘 并 行 执 行 的 潜力 。 





http://www.gotw.ca/publications/concurrency-ddj.htm 


1.1 并 发 还 是 并 行 ? 


本 书 的 主题 是 “并 发 >， 那 么 又 为 何 涉及 了 "并行 ? 呢 ? 虽然 两 者 有 所 关联 
又 常 被 混淆 ， 但 并 发 和 并 行 的 含义 却 是 不 同 的 。 

















一 字 之 差 也 是 差 


并 发 程序 含有 多 个 逻辑 上 的 独立 执行 块 4 ， 它 们 可 以 独立 地 并 行 执行 ， 
也 可 以 串 行 执 行 。 


4 原文 是 : ‘logical threads of control”， 直 诺 为 "控制 逻辑 线程 >， 但 在 此 语 境 下 “控制 ”或 “线程 指 
的 并 不 是 我 们 常见 的 “控制 ?和 线程”。 为 便于 理解 ， 在 此 将 其 译 成 “独立 执行 块 "， 这 个 概念 来 
自 于 Google IO 2012 的 演讲 “Go concurrency patterns” 中 引用 的 文档 “Concurrency is not 
Parallelism” Chttp: /tinyurl. com/goconcnotpar ) ， 其 将 这 个 概念 称 为 “independently executing 
processes”。 一 一 译 者 注 





































































































并 行 程序 解决 问题 的 速度 往往 比 串 行程 序 快 得 多 ， 因 为 其 可 以 同时 执 
了 整个 任务 的 多 个 部 分 。 并 行程 序 可 能 有 多 个 独立 执行 块 ， 也 可 能 仪 有 


一 个 。 








我 们 还 可 以 从 必 一 种 角度 来 看 竺 并 发 和 并 行 之 间 的 差异 : 并 发 是 问题 域 
中 的 概念 时 序 需 要 被 设计 成 能 够 处 理 多 个 同时 《或 者 几乎 同时 ) 发 
生 的 事件 ， 而 并 行 则 是 方法 域 中 的 概念 一 一 通过 将 问题 中 的 多 个 部 分 并 
行 执行 ， 来 加 速 解决 问题 。 


引用 Rob Pike 的 经 典 描 述 ” 








5 http://concur.rspace.googlecode.com/hg/talk/concur.html 
并 发 是 同一 时 间 应 对 (dealing with) 多 件 事 情 的 能 
并 行 是 同一 时 间 动 手 做 (doing〉 多 件 事 情 的 能 
那么 这 本 书 讲述 的 是 并 发 还 是 并 行 ? 
小 大 爱问 : 





并 发 ? 并 行 ? 


我 麦子 是 一 位 教师 。 与 众多 教师 一 样 ， 她 极其 善于 处 理 多 个 任务 。 
她 虽然 每 次 只 能 做 一 件 事 ， 但 可 以 同时 处 理 多 个 任务 。 比 如 ， 在 听 
一 位 学 生 明 读 的 时 候 ， 她 可 以 暂停 学 生 的 明 读 ， 以 维持 读音 秩序 ， 
或 者 回答 学 生 的 问题 。 这 征 并 及 ， 但 并 不 并 行 〈 因 为 仅 有 她 一 个 
人 ， 茶 一 时 刻 只 能 进行 一 件 事 〉。 


但 如 果 还 有 一 位 助教 ， 则 她 们 中 一 位 可 以 聆听 天 读 ， 而 同时 男 一 位 
可 以 回答 问题 。 这 种 方式 既是 并 发 ， 也 是 并 行 。 


假设 班级 设计 了 上 自己 的 痪 卡 并 要 批量 制作 。 一 种 方法 是 让 每 位 学 生 
制作 五 枚 资 卡 。 这 种 方法 是 并 行 ， 而 (从 整体 看 ) 不 是 并 发 ， 因 为 
这 个 过 程 整体 来 说 只 有 一 个 任务 。 


超越 品行 编程 模型 


并 发 和 并 行 的 共同 点 就 是 它们 比 传统 的 串 行 编程 模型 更 优秀 。 本 书 将 
同时 涵盖 并 发 和 并 行 〈 学 究 可 能 会 给 这 本 书 起 名 为 “七 周 七 并 发 模型 和 
并 行 模型 ”， 不 过 那样 的 话 ， 封 面 会 变 得 很 难看 ) 。 


并 有 友和 并 行经 名 被 混 消 的 原因 之 一 是 ， 传 统 的 “线程 与 锁 ? 模 型 并 没有 显 
式 文 持 并 行 。 如 果 要 用 线程 与 锁 模 型 为 多 核 进行 开发 ， 唯 一 的 选择 就 是 
写 一 个 并 发 的 程序 ， 并 行 地 运行 在 多 核 上 。 


然而 ， 并 发 程序 的 执行 通常 是 不 确定 的 ， 它 会 随 大 事件 时 序 的 改变 而 
给 出 不 同 的 结果 。 对 于 真正 的 并 发 程序 ， 不 确定 性 是 其 与 生 俱 来 且 伴随 
始终 的 属性 。 与 之 相反 ， 并 行程 序 可 能 是 确定 的 一 一 例如 ， 要 将 数组 中 
的 每 个 数 都 加 倍 ， 一 种 做 法 是 将 数组 分 为 两 部 分 并 把 它们 分 别 交 给 一 个 
核 处 理 ， 这 种 做 法 的 运行 结果 是 确定 的 。 用 文 持 并 行 的 编程 语言 可 以 写 
出 并 行程 序 ， 而 不 引入 不 确定 性 。 















































1.2 ”并行 架构 


人 们 通常 认为 并 行 等 同 于 多 核 ， 但 现代 计算 机 在 不 同 层次 上 都 使 用 了 并 
行 技术 。 比 如 说 ， 单 核 的 运行 速度 现今 仍 能 每 年 不 断 提 升 的 原因 是 : A 
核 包含 的 晶体 管 数 量 ， 如 同 摩尔 定律 预测 的 那样 变 得 越 来 越 多 ， 而 单 核 
在 位 级 和 指令 级 两 个 层次 上 都 能 够 并 行 地 使 用 这 些 品 体 管 资 源 。 








位 级 (bit-level) 并 行 

为 什么 32 位 计算 机 的 运行 速度 比 8 位 计算 机 更 快 ? 因为 并 行 。 对 于 两 个 
32 位 数 的 加 法 ，8 位 计算 机 必须 进行 多 次 8 位 计算 ， 而 32 位 计算 机 可 以 一 
步 完 成 ， 即 并 行 地 处 理 32 位 数 的 4 字 节 。 

计算 机 的 发 展 经 历 了 8 位 、16 位 、32 位 ， 现 在 正 处 于 64 位 时 代 。 然 而 由 
位 升级 带 来 的 性 能 改善 是 存在 瓶颈 的 ， 这 也 正 是 短期 内 我 们 无 法 步 入 

128 位 时 代 的 原因 。 


指令 级 (instruction-level) 并 行 


ee 其 中 使 用 的 技术 包括 流水 线 、 乱 序 执行 和 猜测 
行 等 。 


程序 员 通 毅 可 以 不 关心 处 理 串 内 部 并 行 的 细节 ， 因 为 尽管 处 理 器 内 部 的 
人 但 是 经 过 精心 设计 ， 从 外 部 看 上 去 所 有 处 理 都 像 是 串 行 





而 这 种 < 看 上 去 像 串 行 "的 设计 逐渐 变 得 不 适用 。 处 理 器 的 设计 者 们 为 音 
核 提升 速度 变 得 越 来 越 困难 。 进 入 多 核 时 代 ， 我 们 必须 面 对 的 情况 是 ， 
无 论 是 表面 上 还 是 实质 上， 指令 都 不 再 串 行 执行 了 。 我 们 将 在 2.2 节 
的 “内 存 可 见 性 * 部 分 展开 讨论 。 


数据 级 (data) 并 行 
数据 级 并 行 ( 也 称 为 “ 单 指令 多 数据 *?，SIMD) 架构 ， 可 以 并 行 地 在 大 


量 数据 上 施加 同一 操作 。 这 并 不 适合 解决 所 有 问题 ， 但 在 适合 的 场景 却 
可 以 大 展映 手 。 





图 像 处 理 束 是 一 种 适合 进行 数据 级 并 行 的 场景 。 比 如 ， 为 了 增加 图 片 腕 
度 就 需要 增加 每 一 个 像素 的 亮度 。 现 代 GPU《〈 图 形 处 理 器 ) 也 因 图像 处 
理 的 特点 而 演化 成 了 极其 强大 的 数据 并 行 处 理 需 。 


任务 级 〈task-level) 并 行 


终于 来 到 了 大 家 所 认为 的 并 行 形式 多 处 理 器 。 从 程序 员 的 角度 来 
看 ， 多 处 理 器 架构 最 明显 的 分 类 特征 是 其 内 存 模型 (共享 内 存 模型 或 分 
布 式 内 存 模型 》。 


对 于 共享 内 存 的 多 处 理 器 系统 ， 每 个 处 理 器 都 能 访问 整个 内 存 ， 处 理 
妖 之 间 的 通信 主要 通过 内 存 进行 ， 如 图 1-1 所 示 。 
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图 1-1 共享 内 存 的 多 处 理 器 系统 


EAU SAS areas BEM a ih AINA, bs as 
之 间 的 通信 主要 通过 网 络 进行 ， 如 图 1-2 所 示 。 





图 1-2 分 布 式 内 存 的 多 处 理 器 系统 





通过 内 存 通信 比 遂 过 网 络 通 信和 更 简单 更 快速 ， 所 以 用 共 至 内 存 编程 往往 
更 容易 。 然 而 ， 当 处 理 需 个 数 逐 渐 增 多 ， 共 吾 内 存 就 会 章 遇 性 能 瓶颈 
一 一 此 时 不 得 不 转 问 分 布 式 和 内存。 如 果 要 开发 一 个 容错 系统 ， 束 要 使 用 
en E panne mee aren 
Fo 








1.3 并 发 : 不 只 是 多 核 


使 用 并 发 的 目的 ， 不 仅仅 是 为 了 让 程序 并 行 运行 从 而 发 挥 多 核 的 优势 。 
ee 程序 还 将 获得 以 下 优点 : 及 时 响应 、 高 效 、 容 错 、 简 








并 发 的 世界 ， 并 发 的 软件 
世界 是 并 发 的 ， 为 了 与 其 有 效 地 交互 ， 软 件 也 应 是 并 发 的 。 


手机 可 以 同时 播放 音乐 、 上 网 浏览 、 啊 应 触 屏 动作 。 我 们 在 IDE 中 输入 
代码 时 ，IDE 正 在 后 台 悄 悄 检查 代码 吾 法 。 飞机 上 的 系统 也 同时 彝 左 了 
好 几 件 事情 ; 监控 传感器 、 在 仪表 盘 上 显示 信息 、 执 行 指 令 、 操 纵 飞行 
装置 调整 飞行 姿态 。 


并 发 是 系统 及 时 啊 应 的 关键 。 比 如 ， 妆 文件 下 载 可 以 在 后 台 进 行 时 ， 用 
户 束 不 必 一 直 困 着 鼠标 沙漏 而 烦心 了 。 再 比如 ，Web 服 务 器 可 以 并 发 地 
处 理 多 个 连接 请 求 ， 一 个 慢 请 求 不 会 影响 服务 器 对 其 他 请 求 的 啊 应 。 


分 布 式 的 世界 ， 分 布 式 的 软件 


有 时 ， 软件 在 非 同步 运行 的 多 人 台 计 算 机 上 
分 布 式 地 运行 ， 其 本 质 是 


此 外 ， 分 布 式 软件 还 不 具有 容错 性 。 我 们 可 以 将 服务 器 一 半 部 署 在 欧洲 ， 
J a a, 这 样 如 果 一 个 区 域 停电 就 不 会 造成 软件 整体 不 可 
用 。 下 面 就 介绍 容错 性 6 。 


6 作者 在 此 处 用 到 了 两 个 词 : fault-tolerant 和 resilient， 中 文 都 译 为 “容错 性 ”"， 但 两 者 略 有 区 别 。 
由 于 这 种 微小 的 区 别 不 会 影响 对 本 书 的 理解 ， 因 此 之 后 的 译文 不 再 区 分 两 者 ， 统 一 使 用 “容错 
性 ”以 方便 读者 理解 。 译 者 注 








































































































不 可 预测 的 世界 ， 容 错 性 强 的 软件 


软件 有 bug， 程 序 会 月 溃 。 即 使 存在 完美 的 没有 bug 的 程序 ， 运 行程 序 的 
硬件 也 可 能 出 现 故障 。 





为 了 增强 软件 的 容错 性 ， 并 发 代码 的 关键 是 独立 性 和 故障 检测 。 独 立 
性 是 指 一 个 故障 不 会 影响 到 故 隐 任务 以 外 的 其 他 任务 。 故 障 检测 是 指 当 
一 个 任务 失败 时 《原因 可 能 是 任务 朋 活 、 失 去 啊 应 或 硬件 故障 ) ， 需 要 
通知 负责 故障 处 理 的 其 他 任务 来 处 理 。 


串 行 程序 的 容错 性 远 不 如 并 发 程序 。 
复杂 的 世界 ， 简 单 的 软件 


如 条 曾 经 化 费 数 小 时 纠结 在 一 个 难以 诊断 的 多 线程 bug 上 ， 那 你 可 能 很 
难 接受 这 个 结论 ， 但 在 选 对 编程 语言 和 工具 的 情况 下 ， 比 起 串 行 的 等 价 
解决 方案 ， 一 个 并 发 的 解决 方 采 会 更 简洁 清晰 。 


在 处 理 现实 世界 的 并 发 问题 时 ， 这 个 结论 可 以 得 到 印证 。 用 串 行 方案 解 
决 一 个 并 发 问题 往往 需要 付出 额外 的 代价 ， 而 且 解 决 方案 会 星 深 难 懂 。 
如 果 解 决 方案 有 着 与 问题 类 似 的 并 及 结构 ， 惑 会 简单 许多 : 我 们 不 需要 
创建 一 个 复杂 的 线程 来 处 理 问 题 中 的 多 个 任务 ， 只 需要 用 多 个 简单 的 线 
程 分 别处 理 不 同 的 任务 即 可 。 











1.4 七 个 模型 
本 书 精 心 挑 选 了 七 个 模型 来 介绍 并 发 与 并 行 。 


线程 与 锁 : 线程 与 锁 模 型 有 很 多 众所周知 的 不 足 ， 但 仍 是 其 他 模型 的 
技术 基础 ， 也 是 很 多 并 发 软件 开发 的 首选 。 


函数 式 编程 : 函数 式 编程 日 渐 重 要 的 原因 之 一 ， 是 其 对 并 及 编程 和 并 

行 编程 提供 了 良好 的 文 持 。 函 数 式 编程 消除 了 可 变 状 态 ， 所 以 从 根本 上 
是 线程 安全 的 ， 而 且 易 于 并 行 执行 。 

Clojure 之 道 分 离 标识 与 状态 : 编程 语言 Clojure 是 一 种 指令 式 编程 
和 函数 式 编 程 的 混搭 方案 ， 在 两 种 编程 方式 上 取得 了 微妙 的 平衡 来 发 挥 
两 者 的 优势 。 

actor: actor 模 型 是 一 种 适用 性 很 广 的 并 发 编程 模型 ， 适 用 于 共享 内 存 

模型 和 分 布 式 内 存 模 型 ， 也 适合 解决 地 理 分 布 型 问题 ， 能 提供 强大 的 容 


错 性 

















通信 顺序 进程 (Communicating Sequential Processes, CSP) : 表面 上 
看 ，CSP 模 型 与 actor 模 型 很 相似 ， 两 者 都 基于 消 轧 传递 。 不 过 CSP 模 型 
侧重 于 传递 信息 的 通道 ， 而 actor 模 型 侧重 于 通道 两 端的 实体 ， 使 用 CSP 
模型 的 代码 会 带 有 明显 不 同 的 风格 。 


数据 级 并 行 : 每 个 笔记 本 电脑 里 都 藏 着 一 台 超 级 计算 机 一 -GPU。 
GPU 利用 了 数据 级 并 行 ， 不 仅 可 以 快速 进行 图 像 处理 ， 也 可 以 用 于 更 广 
阔 的 领域 。 如 果 要 进行 有 限 元 分 析 、 流 体力 学 计算 或 其 他 的 大 量 数字 计 
算 ，GPU 的 性 能 将 是 不 二 选择 。 


Lambda 架 构 : 大 数据 时 代 的 到 来 离 不 开 并 行 一 一 现在 我 们 只 需要 增加 
计算 资源 ， 束 能 具有 处 理 TB 级 数据 的 能 力 。Lambda 架 构 综 合 了 
流 式 处 理 的 特点 ， 是 一 种 可 以 处 理 多 种 大 数据 问题 的 架 














以 上 每 种 模型 都 有 各 自 的 甜 区 ” 。 请 带 着 以 下 的 问题 来 阅读 之 后 的 章 
Ta 





7 球 类 运动 中 球拍 上 最 适合 击 球 的 区 域 。 一 一 译 者 注 








。 这 个 模型 适用 于 解决 并 及 问题 、 并 行 问题 ， 还 是 两 者 此 可 ? 
。 这 个 模型 适用 于 哪 种 并 行 架 构 ? 


。 这 个 模型 是 否 有 利于 我 们 写 出 容错 性 强 的 代码 ， 或 用 于 解决 分 布 式 
问题 的 代码 ? 


下 一 半 将 介绍 第 一 个 模型 : 线程 与 锁 模 型 。 








第 2 章 线程 与 锁 


线程 与 锁 模 型 就 像 一 辆 福特 T 型 车 : 萄 驶 它 可 以 到 达 目 的 地 ， 但 与 新 的 
技术 相 比 ， 它 显得 原始 且 难 以 驾 驱 ， 不 可 菲 还 有 点 儿 危 险 。 


抛 开 那 些 众 所 周知 的 缺点 ， 线 程 与 锁 模 型 仍 是 开发 并 发 软件 的 首选 技 
术 ， 它 也 文 撑 了 本 书 将 要 介绍 的 其 他 技术 。 你 可 能 不 会 直接 用 到 这 个 模 
型 ， 但 也 应 该 了 解 它 是 如 何 工作 的 。 


2.1 简单 粗暴 


线程 与 锁 模型 其 实 是 对 底层 硬件 运行 过 程 的 形式 化 。 这 种 形式 化 既是 该 
模型 最 大 的 优点 ， 也 是 它 最 大 的 缺点 。 


线程 与 锁 模 型 非常 简单 直接 ， 几 乎 所 有 编程 语言 都 以 某 种 形式 对 其 提供 
了 文 持 ， 且 个 对 其 使 用 方式 加 以 限制 。 换 名 话说 ， 对 于 不 精通 该 模型 的 
~ 员 ， 编 程 语言 没有 提供 足够 的 帮助 ， 使 得 程序 容易 出 错 且 难以 维 
Fo 
Enn 言 来 学 习 线程 与 锁 模 型 ， 但 所 述 内 容 也 适用 于 其 他 语 
一 天 ， 将 学 习 Java 的 多 线程 代码 、 潜 在 的 坑 以 及 一 些 避 免 踩 坑 的 
原则 。 第 二 天 ， 将 进一步 学 习 java.util.concurrent 包 提 供 的 工 
具 。 第 三 天 ， 学 习 一 些 由 标准 库 提 供 的 并 发 数据 结构 ， 尝 试 使 用 其 解决 


一 个 现实 问题 。 








最 佳 实践 


一 天 的 学 习 将 从 Java 提 供 的 底层 服务 开始 。 现 在 的 优秀 代码 很 少 
RARE 而 是 使 用 将 在 随后 讨论 的 高 层 服 务 。 要 理解 高 
层 服务 ， 我 们 必须 先 理解 基础 的 底层 服务 ， 但 请 注意 : 不 应 在 产品 
代码 上 直接 使 用 Thread 类 等 底层 服务 。 


2.2 第 一 天 : 互 斥 和 内 存 模型 

如 果 你 曾经 接触 过 并 发 编程 ， 那 一 定 熟悉 互 斥 这 个 概念 _ SRE 
某 一 时 间 仅 有 一 个 线程 可 以 访问 数据 。 你 也 肯定 熟悉 互 斥 带 来 的 麻烦 ， 
比如 说 况 态 条 件 和 死 锁 〈 如 果 对 此 不 熟悉 也 无 妨 ， 稍 后 都 会 介绍 ) 。 
我 们 会 详细 讨论 实践 中 使 用 共享 内 存 带 来 的 一 些 问题 ， 但 首先 需要 关注 
更 基础 更 重要 的 内 容 一 内存 模型 。 如 果 你 认为 竞 态 条 件 和 死 锁 会 导致 
一 系列 很 奇怪 的 现象 ， 那 就 对 共享 内 存 的 诡异 程度 拭目以待 吧 。 

想 超越 自我 ?让 我 们 从 创建 一 个 线程 开始 。 

创建 线程 


Java 中 ， 并 发 的 基本 单元 是 线程 ， 可 以 将 线程 看 作 控 制 流 (thread of 
control) 。 线 程 之 间 通 过 共享 内 存 进 行 通信 。 


俗话 说 : —W ake Rua “Hello, World!”。 我 们 也 不 免 俗 地 来 个 多 线程 
版 本 : 




















ThreadsLocks/HelloWorld/src/main/java/com/paulbutcher/HelloWorlc 





public class 


HelloWorld { 


public static void 


main(String[] 


args) throws 


InterruptedException { 
Thread 


myThread = new Thread 


Ot 


public void 


run() { 
System 


.out.println("Hello from new thread 


}; 
myThread.start(); 
Thread 


.yield(); 
System 


.out.println("HeLLo from main thread 


")3 
myThread. join(); 
} 
} 





这 段 代 码 创 建 并 启动 了 一 个 Thread 实例 。 首 先 从 start() FF 
始 ，myThread.run() 函数 与 nain() 函数 的 余下 部 分 一 起 并 发 执行 。 


最 后 main 线程 调用 join() 来 等 待 mnyThread 线程 结束 〈 即 run() 函数 
返回 ) 。 


运行 这 段 代 码 的 结果 可 能 是 


Hello from main thread 
Hello from new thread 


Hello from new thread 
Hello from main thread 





完 葛 是 哪 种 运行 结果 完全 取 雇 于 哪个 线程 先 执行 println() (我 的 测试 
结果 是 各 占 50%) 。 多 线程 编程 很 难 的 原因 之 一 就 是 运行 结果 可 能 依赖 
于 时 序 ， 多 次 运行 的 结果 并 不 稳定 。 


小 乔 爱 问 : 
Thread.yield 的 作用 ? 


在 多 线程 版 本 的 “Hello, World!”*” 中 我 们 使 用 了 Thread.yield()， 
根据 相关 的 Java 文 档 ， 其 作用 是 : 


通知 调度 器 : 当前 线程 想 要 让 出 对 处理 费 的 占用 。 


如 果 不 调用 Thread.yield() ， 由 于 创建 新 线程 要 花费 一 些 时 间 ， 

那么 main 线程 几乎 肯定 会 先 执行 println() (当然 并 不 保证 一 定 
会 如 此 一 一 稍 后 我 们 将 学 到 一 个 规律 : 并 发 编程 中 如 果菜 事 可 能 会 
发 生 ， 那 么 不 论 多 艰难 它 一 定 会 发 生 ， 而 且 可 能 发 生 在 最 不 利 的 时 








Al) 。 


试 将 Thread.yield() FHH, FERRETA. WRH 
成 Thread.sleep(1) 呢 ? 


第 一 把 锁 

多 个 线程 同时 使 用 共 胖 内 存 时 ， 它 们 往往 会 “打成一片 ”。 为 避免 如 此 ， 
我 们 可 以 使 用 锁 达到 线程 互 斥 的 目的 ， 即 茶 一 时 间 至 多 有 一 个 线程 能 
持 有 锁 。 

先 创建 两 个 线程 ， 并 使 其 交互 : 


ThreadsLocks/Counting/src/main/java/com/paulbutcher/Counting.jave 





public class 


Counting { 
public static void 


main(String[ ] 


args) throws 


InterruptedException { 
class 


Counter { 
private int 


count = ð; 
public void 


increment() { ++count; } 
public int 


getCount() { return 


Counter counter = new 


Counter(); 
class 


CountingThread extends Thread 


{ 
public void 
run() { 
for 
(int 


x = ð; x < 10000; ++x) 
counter.increment(); 


} 
} 


CountingThread t1 = new 


CountingThread(); 
CountingThread t2 = new 


CountingThread(); 
t1.start(); t2.start(); 
t1.join(); t2.join(); 
System 


.out.println(counter.getCount()); 
} 





这 段 代 码 创 建 了 一 个 简单 的 counter 类 和 两 个 线程 ， 每 个 线程 都 调 


用 counter.increment() 10 000 次 。 这 段 代 码 看 上 去 很 简单 但 很 及 


运行 这 段 代 码 ， 每 次 都 将 获得 不 同 的 结果 。 最 后 三 次 测试 的 结 
是 13856 、11867 和 12616 。 产 生 这 个 结果 的 原因 是 两 个 线程 使 


用 counter.count 对 象 时 发 生 了 竞 态 条 件 ( 即 代 码 行为 取决 于 各 操作 
的 时 序 ) 。 


如 果 不 能 理解 上 面 这 段 话 ， 那 让 我 们 来 考虑 一 下 Java 编 译 器 是 如 何 解释 
++count 的 。 其 字 节 码 是 : 





getfield #2 
iconst_1 
iadd 
putfield #2 





即使 你 不 熟悉 JVM 字 节 码 ， 也 可 以 揣测 出 这 段 代码 的 意图 : getfield 
#2 用 于 获取 count 的 值 ，iconst_1 和 iadd 将 获得 的 值 加 
1，putfield #2 将 更 新 的 值 写 回 count 中 。 这 就 是 通称 的 读 - 改 - 写 
(read-modify-write) 模式 。 


假如 两 个 线程 同时 调用 increment() ， 线 程 1 执 行 getfield #2 ， 获 得 
值 42。 在 线程 1 执行 其 他 动作 之 前 ， 线 程 2 也 执行 了 getfield #2 ， 获 
得 值 42。 粳 糕 的 是 ， 现 在 两 个 线程 都 将 获得 的 值 加 1， 将 43 写 回 count 
中 。 结 果 count 只 被 递增 了 一 次 ， 而 不 是 两 次 。 


竞 态 条 件 的 解决 方案 是 对 count 进行 同步 (synchronize) 访问 。 一 种 方 


法 是 使 用 Java 对 象 原 生 的 内 置 锁 〈 也 被 称 为 互 斥 锁 (mutex) 、 管 程 
(monitor) 或 临界 区 (critical section) ) 3¢ ett increment () 的 调 
用 : 


ThreadsLocks/CountingFixed/src/main/java/com/paulbutcher/Countin 


Counter { 
private int 


count = ð; 
> public synchronized void 


increment() { ++count; } 
public int 


getCount() { return 


count; } 


} 





线程 进入 increment() 函数 时 ， 将 获取 Counter 对 象 级 别 的 锁 ， 函 数 
返回 时 将 释放 该 锁 。 某 一 时 间 至 多 有 一 个 线程 可 以 执行 函数 体 ， 其 他 线 
程 调用 函数 时 将 被 阻塞 直到 锁 被 释放 《〈 稍 后 我 们 将 了 解 到 : 对 于 这 种 
只 涉及 一 个 变量 的 互 斥 场景 ， 使 用 java.util.concurrnet.atomic 包 
是 更 好 的 选择 ) 。 


毋庸 置疑 ， 对 于 增加 了 同步 功能 的 代码 ， 每 次 执行 都 将 得 到 正确 结 
20000 。 


但 前 路 漫漫 一 一 代码 中 仍 隐藏 了 一 个 bug， 我 们 马上 介绍 其 中 的 关 究 。 
诡异 的 内 存 
我 们 用 一 个 小 测试 来 开场 ， 请 猜测 一 下 这 段 代 码 的 输出 : 





ThreadsLocks/Puzzle/src/main/java/com/paulbutcher/Puzzle.java 





Line 1 public class 


Puzzle { 
static boolean 


answerReady = false; 
static int 


answer = @; 
static Thread 


t1 = new Thread 


5 public void 


answer = 42; 
a answerReady = true; 
= } 
}; 

10 static Thread 


t2 = new Thread 


() { 

- public void 
run() { 

- if 
(answerReady) 

- System. 


out.println("The meaning of Life is: 


+ answer); 
- else 


15 System 


.out.printin("I don't know the answer 


public static void 


main(String[ ] 


args) throws 


InterruptedException { 
20 t1.start(); t2.start(); 
t1.join(); t2.join(); 














OER PREY BB -RME ERE”, ERAARE IEAM ST. HGRA REBUT H 
时 序 ， 这 段 代 码 的 输出 可 能 是 The meaning of life is XX 或 者 I don't know 
the answer 。 但 不 止 于 此 ， 还 有 一 种 结果 可 能 是 : 


The meaning of life is: 6 





什么 ?! “4answerReady 为 true 时 answer 可 能 为 0 吗 ? 这 仿佛 是 第 6 行 
和 第 7 行 在 我 们 眼皮 底下 颠倒 了 执行 顺序 。 





但 是 乱 序 执行 是 完全 有 可 能 发 生 的 。 以 下 所 述 均 为 事实 : 
。 编译 器 的 静态 优化 可 以 打 乱 代码 的 执行 顺序 ; 
。JVM 的 动态 优化 也 会 打 乱 代码 的 执行 顺序 ; 


o 硬件 可 以 通过 乱 序 执行 来 优化 其 性 能 。 


比 乱 序 执行 更 糟糕 的 是 ， 有 时 一 个 线程 产生 的 修改 可 能 对 男 一 个 线程 不 
可 见 。 如 果 将 run() 写成 : 


public void 


run() { 


while 


(!answerReady ) 
Thread 


.Sleep(166 ) ; 
System 


.out.println("The meaning of Life is 


" + answer); 


} 

answerReady 可 能 不 会 变 成 true ， 代 码 运 行 后 无 法 退出 。 

从 直觉 上 来 说 ， 编 译 器 、JVM、 硬 件 都 不 应 插手 修改 原本 的 代码 逻辑 。 
但 是 ， 近 几 年 的 运行 效率 提升 ， 尤 其 是 共享 内 存 架 构 的 运行 效率 提升 ， 
ee 。 因 此 我 们 也 无 法 摆脱 此 类 优化 的 副作用 的 影 
Hal 。 

显然 ， 需 要 有 标准 来 明确 告诉 我 们 ， 可 能 发 生 怎 样 的 副作用 ， 这 就 是 
Java 内 存 模型 。 


内 存 可 见 性 











Java 内 存 模型 定义 了 何 时 一 个 线程 对 内 存 的 修改 对 另 一 个 线程 可 见 : 。 
基本 原则 是 ， 如 果 读 线程 和 写 线程 不 进行 同步 ， 就 不 能 保证 可 见 性 。 








1 http://docs.oracle.com/javase/specs/jls/se7/html/jls-17.html#jls-17.4 


我 们 已 经 见 过 一 种 同步 的 方法 一 一 就 是 通过 获取 对 象 的 内 置 锁 。 其 他 的 
方法 包括 : 开启 一 个 线程 并 通过 join() 检查 线程 是 否 已 经 终止 ， 使 
用 java.util.concurrent 包 提 供 的 工具 。 


很 容易 被 忽略 的 一 个 重点 是 : 两 个 线程 都 需要 进行 同步 。 只 在 其 中 一 
个 线程 进行 同步 是 不 够 的 ， 这 正 是 之 前 竞 态 条 件 解决 方案 中 潜藏 bug 的 
原因 : 除了 increment() 之 外 ，getCount() 方法 也 需要 进行 同步 。 否 
则 ， 调 用 getCount() 的 线程 可 能 获得 一 个 失效 的 值 ( 对 于 前 面 交 互 的 
两 个 线程 ，getCount() 在 join() 之 后 被 调用 ， 因 此 是 线程 安全 的 。 
但 这 种 设计 为 其 他 调用 getCounter() 的 代码 埋 下 了 隐患 ) 。 


至 此 ， 我 们 讨论 了 苋 态 条 件 和 内 存 可 见 性 ， 这 两 类 问题 都 可 能 让 多 线程 
程序 运行 结果 出 错 。 下 面 我 们 将 介绍 第 三 类 问题 : 死 锁 。 


多 把 锁 


综 上 所 述 ， 很 容易 得 出 一 个 结论 : 让 多 线程 代码 安全 运行 的 方法 只 能 是 
让 所 有 的 方法 都 同步 。 然 而 ， 这 也 会 带 来 问题 。 

首先 这 样 做 效率 低下 。 如 果 每 个 方法 都 同步 ， 大 多 数 线程 会 频 党 阻塞 ， 
使 程序 失去 了 并 发 的 意义 。 问 题 不 止 于 此 ， 当 使 用 多 把 锁 时 〈Java 中 每 
一 个 对 象 都 有 自己 的 内 置 锁 ” ) ， 线 程 之 间 可 能 发 生死 锁 。 


?对 不 同 对 象 的 方法 进行 同步 就 会 用 到 多 把 锁 。 一 一 译 者 注 




















我 们 将 借助 一 个 学 术 论 文中 经 常 使 用 的 经 典 模型 来 诠释 死 锁 一 一 哲学 家 
进餐 问题 。 问 题 场景 是 五 位 哲学 家 围 绕 一 个 圆 果 就 坐 ， 如 图 2-1 所 示 ， 
REBHM (PEAN) RT. 








图 2-1 哲学 家 进餐 问题 





哲学 家 的 状态 可 能 是 “思考 ?或 者 “饥饿 "。 如 果 饥 饿 ， 哲 学 家 将 拿 起 他 两 
边 的 筷子 并 进餐 一 段 时 间 《〈 当 然 ， 这 些 哲学 家 都 是 男性 ， 女 性 在 餐 昌 上 
会 更 优雅 一 些 ) 。 进 餐 结束 ， 哲 学 家 就 会 放 回 筑 子 。 

下 面 的 代码 实现 了 哲学 家 的 行为 : 


ThreadsLocks/DiningPhilosophers/src/main/java/com/paulbutcher/Phi 





Line 1 class 


Philosopher extends Thread 


- private 


Chopstick left, right; 
- private Random 


random; 


5 public 


Philosopher(Chopstick left, Chopstick right) { 
- this.left = left; this.right = right; 
- random = new Random 


run() { 

Š try 
{ 

- while 
(true) { 

- Thread 


.Sleep(random.nextInt(1000)); // 思考 一 段 时 间 


- synchronized 


(left) { // 拿 起 筷子 1 
15 synchronized 
(right) { // 拿 起 筷子 2 
- Thread 





.Sleep(random.nextInt(1000)); // 进餐 一 段 时 间 
} 
= } 


} 
20 } catch 


(InterruptedException e) {} 


2-3 








第 14、15 行 使 用 了 另 一 种 方式 ? 来 获取 对 象 的 内 置 


锁 : synchronized(object) 。 




















3 第 一 种 方式 是 在 函数 上 使 用 synchronized 关 键 字 。 一 一 译 者 注 








在 我 的 计算 机 上 测试 过 五 个 哲学 家 实例 ， 它 们 可 以 愉快 地 运行 很 入 《最 
长 时 间 是 一 周 ) ， 直 到 茶 个 时 刻 一 切 突 然 都 分 了 下 来 。 

稍 加 分 析 就 知道 发 生 了 什么 : 如 果 所 有 哲学 家 同时 决定 进餐 ， 都 拿 起 左 
手边 的 筷子 ， 那 么 就 无 法 进行 下 去 一 一 所 有 人 都 持 有 一 只 簧 子 并 等 符 右 
手边 的 人 放下 秘 子 。 这 时 死 锁 就 出 现 了 。 


一 个 线程 想 使 用 多 把 锁 时 ， 束 需要 考虑 死 锁 的 可 能 。 洱 运 的 是 ， 有 一 个 
简单 的 规则 可 以 避 开 死 锁 一 一 总 是 按照 一 个 全 局 的 固定 的 顺序 获取 多 把 
锁 。 


其 中 一 种 实现 如 下 : 














ThreadsLocks/DiningPhilosophersFixed/src/main/java/com/paulbutche 





class 


Philosopher extends Thread 


{ 


> private 


Chopstick first, second; 
private Random 


random; 


public 


Philosopher (Chopstick left, Chopstick right) { 
> if 


(left.getId() < right.getId()) { 


> first = left; second = right; 
> } else 

{ 

> first = right; second = left; 
= } 


random = new Random 


(); 


public void 


while 


(true) { 
Thread 


.Sleep(random.nextInt(10@@) ); // 思考 一 段 时 间 
> synchronized 


(first) { // 拿 起 筷子 1 
> synchronized 


(second) { // 拿 起 筷子 2 
Thread 





.Sleep(Fandom.nextInt(1666)); // 进餐 一 段 时 间 
} 


(InterruptedException e) {} 


} 





我 们 不 再 按 左 手边 和 右手 边 I RT, MERITS 获 








得 编号 1 和 编号 2 的 锁 《〈 我 们 并 不 关心 编号 的 具体 规则 ， 只 要 保证 编号 
古 全 局 唯一 且 有 序 的 ) 。 军 无 疑问 ， 现 在 晚宴 将 一 直 和 愉快 地 进行 下 去 而 
不 会 突然 卡 住 。 


不 难 想 到 ， 如 果 获 取 锁 的 代码 写 得 比较 集中 ， 就 有 利于 维护 这 个 全 局 顺 
序 。 而 对 于 规模 较 大 的 程序 ， 使 用 锁 的 地 方 比较 零散 ， 各 处 都 遵守 这 个 
顺序 就 变 得 不 太 实 际 。 

小 乔 爱 问 : 

可 以 用 对 象 的 散 列 值 作 为 锁 的 全 局 顺序 吗 ? 


有 一 个 常用 的 技巧 是 使 用 对 象 的 散 列 值 作为 锁 的 全 局 顺序 ， 类 似 于 
下 面 的 代码 : 








.identityHashCode(left) < System 


.identityHashCode(right)) { 
first = left; second = right; 
} else 


first = right; second = left; 
} 





这 个 技巧 的 好 处 是 适用 于 所 有 Java 对 象 ， 不 用 为 锁 对 象 专门 定义 并 
维护 一 个 顺序 。 但 是 对 象 的 散 列 值 并 不 能 保证 唯一 性 《虽然 几率 很 
小 ， 但 对 象 的 散 列 值 确实 可 能 重复 ) 。 我 的 建议 是 如 果 不 是 迫 不 得 
己 ， 不 要 使 用 这 个 技巧 。 








来 自 外 星 方法 的 危害 

规模 较 大 的 程序 常用 监听 器 模式 (listener) 来 解 看 模块 。 在 这 里 ， 我 
们 构造 一 个 类 从 一 个 URL 进 行 下 载 ， 并 用 ProgressListeners 监听 下 
载 的 进度 。 


ThreadsLocks/HttpDownload/src/main/java/com/paulbutcher/Downlo< 





class 


Downloader extends Thread 


{ 


private InputStream 


in; 
private OutputStream 


out; 
private ArrayList 


<ProgressListener> listeners; 


public 


Downloader (URL 


url, String 


outputFilename) throws 


IOException { 
in = url.openConnection().getInputStream() ; 
out = new FileOutputStream 


(outputFilename) ; 
listeners = new ArrayList 


<ProgressListener>(); 


public synchronized void 


addListener(ProgressListener listener) { 
listeners.add(listener) ; 


} 


public synchronized void 


removeListener(ProgressListener listener) { 
listeners.remove(listener) ; 


} 


private synchronized void 


updateProgress(int 


n) { 


for 


(ProgressListener listener: listeners) 
listener.onProgress(n); 


} 


public void 


run() { 


int 


n = @, total = @; 
byte[ ] 


buffer = new byte 


[1024]; 


while 


((n = in.read(buffer)) != -1) { 
out.write(buffer, ©, n); 
total += n; 
updateProgress(total); 


} 
out.flush(); 
} catch 


(IOException e) { } 


} 





addListener() . removeListener() #llupdateProgress() 都 是 同 
步 方法 ， 多 线程 可 以 安全 地 使 用 这 些 方法 。 尽 管 这 段 代 人 码 仅 使 用 了 一 把 
锁 ， 但 仍 隐藏 着 一 个 死 锁 陷阱 。 





陷阱 在 于 updateProgress() 调用 了 一 个 外 星 方法 一 一 但 对 于 这 个 外 星 
方法 一 无 所 知 。 外 星 方 法 可 以 做 任何 事情 ， 例 如 持 有 另外 一 把 锁 。 这 样 
一 来 ， 我 们 就 在 对 加 锁 顺 序 一 无 所 知 的 情况 下 使 用 了 两 把 锁 。 就 像 前 面 
提 到 的 ， 这 就 有 可 能 发 生死 锁 。 


唯一 的 解决 思路 是 避免 持 有 锁 时 调用 外 星 方 法 。 一 种 方法 是 在 过 历 之 前 
对 1isteners 进行 保护 性 复制 (defensive copy) ， 再 针对 这 份 副 本 进 
AY Het JF) 





ThreadsLocks/HttpDownloadFixed/src/main/java/com/paulbutcher/Do 


private void 


updateProgress(int 


n) { 
ArrayList 


<ProgressListener> listenersCopy; 
synchronized 


(this) { 
> listenersCopy = (ArrayList 


<ProgressListener>)listeners.clone(); 


} 


for 


(ProgressListener listener: listenersCopy) 
listener.onProgress(n); 





} 


这 是 个 一 石 多 乌 的 方法 。 不 仅 在 调用 外 星 方法 时 不 用 加 锁 ， 而 且 大 大 减 
少 了 代码 持 有 锁 的 时 间 。 长 时 间 地 持 有 和 锁 将 影响 性 能 (降低 了 程序 的 并 
RE) ， 也 会 增加 死 锁 的 可 能 。 保 护 性 复制 也 修复 了 与 并 发 无 关 的 男 一 
个 bug 一 一 修复 后 如 果 监 昕 器 在 onProgress() 中 调 

用 removeListener() ， 将 不 会 影响 到 正在 进行 过 历 的 副本 。 


第 一 天 总 结 


第 一 天 的 学 习 即 将 结束 。 我 们 通过 代码 学 习 了 Java 多 线程 的 基础 ， 在 第 
二 天 的 学 习 中 将 介绍 标准 库 提 供 的 更 好 的 实现 方式 。 


第 一 天 我 们 学 到 了 什么 
本 节 介 绍 了 如 何 创建 线程 ， 并 用 Java 对 象 的 内 置 锁 实 现 互 斥 。 还 介绍 了 
线程 与 锁 模型 带 来 的 三 个 主要 危害 一 一 范 态 条 件 、 死 锁 和 内 存 可 见 性 ， 
并 讨论 了 一 些 帮 助 我 们 避免 危害 的 准则 : 

。 对 共享 变量 的 所 有 访问 都 需要 同步 化 ; 

© 该 线程 和 写 线程 都 需要 同步 化 ; 

。 按照 约定 的 全 局 顺序 来 获取 多 把 锁 ; 

。 当 持 有 锁 时 避免 调用 外 星 方法 ; 

。 持 有 锁 的 时 间 应 尽 可 能 短 。 
第 一 天 上 自习 
ARR 


。 阅读 William Pugh 的 网 站 “Java 内 存 模型 ”。 



































e 自学 JSR 133 〈Java 内 存 模型 ) 的 FAQ。 


。 Java 内 存 模型 是 如 何 保证 对 象 初 始 化 是 线程 安全 的 ? 是 个 必须 通过 
加 锁 才 能 在 线程 之 间 安 全 地 公开 对 象 ? 


。 了 解 反 模式 “双重 检查 锁 模 式 ”(double-checked locking) 以 及 为 什 





实践 


。 对 于 哲学 家 进餐 问题 ， 用 最 开始 有 死 锁 隐患 的 代码 做 一 些 试验 。 滨 
试 变更 哲学 家 思考 状态 的 时 长 、 进 餐 状 态 的 时 长 以 及 哲学 家 的 人 
数 。 这 些 变 量 对 于 出 现 死 锁 的 时 机 有 什么 影响 ? 设想 我 们 正在 进行 
调试 ， 那 应 该 如 何 增 大 重 现 死 锁 的 几率 ? 


CAME) 编写 一 段 程 序 ， 在 不 使 用 同步 的 前 提 下 ， 模 拟 内 存 写 操作 
的 乱 序 执行 。 这 个 任务 之 所 以 有 难度 ， 是 因为 Java 内 存 模 型 可 能 不 
会 优化 过 于 简单 的 例子 ， 故 找到 这 个 优化 场景 比较 困难 。 





2.3 第 二 天 : 超越 内 置 锁 
第 一 天 我 们 学 习 了 Java 的 Thread 类 和 Java 对 象 的 内 置 锁 。 在 过 去 的 很 长 
一 段 时 间 内 ， 这 几乎 是 Java 对 并 发 编程 提供 的 所 有 文 持 。Java 5 通过 引 
Ajava.util.concurrent 包 改 善 了 这 个 状况 。 今 天 我 们 将 学 习 这 种 
增强 的 锁 机 制 。 
内 置 锁 虽然 方便 但 限制 很 多 : 
。 一 个 线程 因为 等 竺 内 置 锁 而 进入 阻塞 之 后 ， 就 无 法 中 断 该 线程 了 ; 
。 尝试 获取 内 置 锁 时 ， 无 法 设置 超时 ; 


。 获得 内 置 锁 ， 必 须 使 用 synchronized 块 。 


synchronized 


(object) { 
《使 用 共享 资源 > 
} 


1X HF YS: KI PR ol] EE BAA ETA A RG 2 ERE [I —7S AYE 
另外 ， 声 明 synchronized 的 函数 其 实 只 是 个 “语法 糖 "?， 其 等 价 于 将 函 
数 体 按 以 下 形式 进行 包装 : 





synchronized 


(this) { 
“函数 体 ” 


} 





synchronized 不 同 ，ReentrantLock 提供 了 显 式 的 lock 和 unlock 
方法 ， 可 以 突破 上 述 几 个 限制 。 


在 深入 学 习 之 前 ， 先 来 看 一 下 ReentrantLock 是 如 何苦 代 


synchronized 工作 的 : 


lock = new ReentrantLock 


(); 
lock.lock(); 
try 


«使 用 共享 资源 » 
} finally 


{ 
lock.unlock(); 


} 





这 段 代 码 中 ， 使 用 try ... finally 是 个 很 好 的 实践 ， 无 论 被 锁 保护 
的 代码 发 生 了 什么 ， 都 可 以 确保 锁 会 被 释放 。 


现在 我 们 来 看 看 ReentrantLock 是 如 何 突 破 限 制 的 。 
可 中 断 的 锁 


使 用 内 置 锁 时 ， 由 于 阻 窄 的 线程 无 法 被 中 断 ， 程 序 不 可 能 从 死 锁 中 恢 
复 。 我 们 来 看 一 个 小 例子 ， 制 造 一 个 死 锁 并 尝试 中 断 线程 。 


ThreadsLocks/Uninterruptible/src/main/java/com/paulbutcher/Unintei 





public class 


Uninterruptible { 


public static void 


main(String[ ] 


args) throws 


InterruptedException { 


final Object 


o1 = new Object 


(); final Object 


o2 = new Object 


(); 


Thread t1 = new Thread 


Ot 


public void 


run() { 
try 


synchronized 


(01) { 
Thread 


. Sleep(1000) ; 
synchronized 


(02) {} 
} 
} catch 


(InterruptedException e) { System 


.out .println("t1 interrupted 


t2 = new Thread 


O { 


public void 


run() { 


try 


synchronized 


(02) { 
Thread 


. Sleep (1000) ; 
synchronized 


(01) {} 


} catch 


(InterruptedException e) { System 


.out .println("t2 interrupted 


t1.start(); t2.start(); 
Thread 


.Sleep(2000) ; 
t1.interrupt(); t2.interrupt(); 
t1.join(); t2.join(); 
} 


} 





这 段 程序 将 永远 死 锁 下 去 一 跳出 死 锁 唯一 的 方法 是 终止 JVM 的 运行 。 
小 乔 爱 问 : 
真 的 没 办 法 终止 死 锁 的 线程 吗 ? 


你 可 能 认为 肯定 有 某 种 方法 来 终止 一 个 死 锁 线程 。 遗 憾 的 是 确实 没 
有 。 所 有 六 类 方 法 都 被 正明 有 伟 陷 而 不 推荐 使 用 ”a 


a. http://docs.oracle.com/javase/1.5.0/docs/guide/misc/threadPrimitiveDeprecation.html 


终止 线程 的 最 终 手 段 是 让 run() 函数 返回 《可 能 是 通过 抛 出 
InterruptedException ) 。 不 过 ， 如 果 你 的 线程 由 于 等 待 内 置 
锁 而 陷入 死 锁 ， 且 不 和 中 断 其 等 和 寺 锁 的 状态 ， 那 么 要 终止 死 锁 线程 
就 只 剩 下 终止 JVM 运 行 这 条 路 了 。 


人 不 是 有 办 法 解决 这 个 限制 的 。 我 们 可 以 用 ReentrantLock 蔡 代 内 
， 使 用 它 的 lockInterruptibly() 方法 : 








ThreadsLocks/Interruptible/src/main/java/com/paulbutcher/Interrupti 





final ReentrantLock 


11 = new ReentrantLock 


(); 


final ReentrantLock 


12 = new ReentrantLock 


(); 


Thread 


t1 = new Thread 


Ot 


public void 


run() { 
try 

{ 

> 11.lockInterruptibly(); 

Thread 

. Sleep (1000) ; 

> 12.lockInterruptibly(); 
} catch 


(InterruptedException e) { System 


.out .println("t1 interrupted 





这 一 次 Thread.interrupt() 可 以 让 线程 终止 。 代 码 的 确 比 之 前 稍微 复 








杂 一 点 ， 这 就 算是 为 中 断 死 锁 线 程 付出 的 一 点 代价 吧 。 
超时 
ReentrantLock 突破 了 内 置 锁 的 另 一 个 限制 : 可 以 为 获取 锁 的 操作 设 


置 超时 时 间 。 利 用 这 个 功能 ， 我 们 可 以 通过 另 一 种 方法 来 解决 第 一 天 的 
哲学 家 进餐 问题 。 


下 面 是 修改 后 的 Philosopher 类 ， 拿 起 两 根 筷子 失败 时 会 超时 : 


ThreadsLocks/DiningPhilosophersTimeout/src/main/java/com/paulbut 





class 


Philosopher extends Thread 


private ReentrantLock 


leftChopstick, rightChopstick; 
private Random 


random; 


public 


Philosopher (ReentrantLock 


leftChopstick, ReentrantLock 


rightChopstick) { 
this.leftChopstick = leftChopstick; this.rightChopstick = rightChops 
random = new Random 


(); 


} 


public void 


while 


(true) { 
Thread 


.Sleep(random.nextInt(1000)); // 思考 一 段 时 间 
leftChopstick.lock(); 
try 


a 


> if 


(rightChopstick.tryLock(1000, TimeUnit 


.MILLISECONDS)) { 
// 获取 右手 边 的 筷子 
try { 
Thread 








.Sleep(random.nextInt(1000)); // 进餐 一 段 时 间 
} finally 


{ rightChopstick.unlock(); } 





} else 
{ 
> // 没有 获取 到 右手 边 的 簧 子 ， 放 弃 并 继续 思考 
} 
} finally 


{ leftChopstick.unlock(); } 
} 


} catch 


(InterruptedException e) {} 





这 段 代 码 用 到 了 tryLock() 。 相 比 lock() ， 它 在 获取 锁 失 败 时 有 超时 
机 制 。 我 们 虽然 没有 遵循 “ 按 全 局 的 固定 的 顺序 获取 锁 ” 的 准则 ， 但 这 个 
版 本 的 代码 并 不 会 死 锁 (至 少 不 会 无 尽 地 死 锁 下 去 ) 。 


活 锁 


虽然 tryLock( ) 方案 避免 了 无 尽 地 死 锁 ， 但 这 并 不 是 一 个 足够 好 的 
方案 。 首 先 ， 这 个 方案 并 不 能 避免 死 锁 一 一 它 只 是 提供 了 从 死 锁 中 
恢复 的 手段 。 其 次 ， 这 个 方案 会 受到 活 锁 现 象 的 影响 一 一 如 果 所 有 
和 死 锁 线程 同时 超时 ， 它 们 极 有 可 能 再 次 陷入 死 锁 。 昌 然 死 锁 没 有 永 
远 持续 下 去 ， 但 对 资源 的 争夺 状况 却 没有 得 到 任何 改善 。 

有 一 些 方法 可 以 减 小 活 锁 的 几率 。 比 如 为 每 个 线程 设置 不 同 的 超时 


时 间 ， 来 减少 所 有 线程 同时 超时 的 几率 。 但 通过 设置 超时 来 处 理 死 
锁 不 能 说 是 一 个 好 的 方案 一 一 以 后 我 们 还 可 以 做 得 更 好 。 














交 蔡 锁 (hand-over-hand locking) 


设想 我 们 要 在 链表 中 插入 一 个 节点 。 一 种 做 法 是 用 锁 保 护 整个 链表 ， 但 
链表 加 锁 时 其 他 使 用 者 无 法 访问 链表 。 而 交 蔡 锁 可 以 只 锁 住 链表 的 一 


部 分 ， 人 允许 不 涉及 被 锁 部 分 的 其 他 线程 目 由 访问 链表 ， 如 图 2-2 所 示 。 





图 2-2 ZED 


插入 新 的 链表 节点 时 ， 需 要 将 每 插入 位 置 两 边 的 市 点 加 锁 。 首 先 锁 住 链 
表 的 前 两 个 节点 。 如 果 这 两 节点 之 间 不 是 竺 插入 位 置 ， 那 么 融 解 锁 第 一 
个 节点 ， 并 锁 住 第 三 个 节点 。 如 果 被 锁 住 的 两 市 点 之 间 仍 不 是 待 插入 位 
置 ， 就 解锁 第 二 个 节 氮 ， 并 锁 住 第 四 个 节点 。 以 此 类 推 ， 直 到 找到 待 插 
入 位 置 并 插入 新 的 市 把， 最 后 解锁 两 边 的 市 后。 


这 种 交 瞧 式 的 加 锁 和 解锁 顺序 是 无 法 用 内 置 锁 实 现 的 ， 但 使 
用 ReentrantLock 束 可 以 在 需要 的 地 方 调用 lock() #lunlock() 。 我 
们 用 下 面 的 类 来 实现 使 用 交 蔡 锁 的 有 序 链 表 。 


ThreadsLocks/LinkedList/src/main/java/com/paulbutcher/Concurrent:! 





Line 1 class 


ConcurrentSortedList { 


- private class 


Node { 
- int 
value; 
5 Node prev; 
- Node next; 
- ReentrantLock 


lock = new ReentrantLock 


; Node() {} 


- Node(int 


value, Node prev, Node next) { 
- this.value = value; this.prev = prev; this.next = next; 


z } 

- } 

15 

- private final 
Node head; 


- private final 


Node tail; 


- public 


ConcurrentSortedList() { 
20 head = new 


Node(); tail = new 


Node(); 
- head.next = tail; tail.prev = head; 


= 二 


- public void 


insert(int 


25 Node current = head; 
- current. lock.lock(); 
- Node next = current.next; 
- try 


- while 


(true) { 
30 next.lock.lock(); 
- try 


(next == tail || next.value < value) { 
- Node node = new 


Node(value, current, next); 
- next.prev = node; 
35 current.next = node; 
- return 


z } 
- } finally 


{ current.lock.unlock(); } 
- current = next; 
40 next = current.next; 
3 } 
- } finally 


{ next.lock.unlock(); } 


=} 





insert() 方法 保证 链表 是 有 序 的 : 遍历 链表 直到 找到 第 一 个 值 小 于 新 
插入 值 的 节点 位 置 ， 在 这 个 位 置 前 插入 新 节点 。 








第 26 行 锁 住 了 链表 的 头 节点 ， 第 30 行 锁 住 了 下 一 个 节点 。 接 下 来 检测 两 
个 布点 之 间 是 否 是 竺 插入 位 置 。 如 果 不 是 ， 则 在 第 38 行 解锁 当前 节点 并 
继续 所 历 。 如 果 找 到 答 插 入 位 置 ， 第 33~36 行 构造 新 市 点 并 将 其 插入 链 
表 后 返回 。 两 把 锁 的 解锁 操作 在 两 个 finally 块 中 进行 (第 38 行 和 第 42 
TE 





这 种 方案 不 仅 可 以 让 多 个 线程 并 发 地 进行 链表 插入 操作 ， 还 能 让 其 他 的 
链表 操作 安全 地 并 发 。 比 如 计算 链表 市 点 个 数 ， 只 需 倒序 所 历 链 表 即 
可 : 


ThreadsLocks/LinkedList/src/main/java/com/paulbutcher/Concurrent! 





public int 


size() { 


Node current = tail; 
int 


count = ð; 


while 


(current.prev != head) { 
ReentrantLock 


lock = current.lock; 
lock. lock(); 
try 


++count; 
current = current.prev; 
} finally 


{ lock.unlock(); } 
} 


return 


count; 
} 


小 乔 爱 问 : 

难道 不 会 违背 “全 局 顺序 ”规则 吗 ? 

ConcurrentSortedList 的 insert() 方法 从 链表 头 开 始 向 链表 尾 
依次 获取 锁 。size() 方法 从 链表 尾 同 链表 头 依次 获取 锁 。 难 道 这 
样 不 违背 “总 是 按照 一 个 全 局 的 固定 的 顺序 获取 多 把 锁 ” 的 规则 吗 ? 








答案 是 并 不 违背 ， 因 为 size() 方法 从 不 持 有 多 把 锁 一 一 其 在 东 一 


A AS AE 


时 间 并 不 持 有 一 把 以 上 的 锁 。 

接 下 来 我 们 学 习 ReentrantLock 的 另 一 个 特性 一 ”条件 变量 。 
条 件 变 量 
并 发 编程 经 党 需要 等 待 某 个 事件 发 生 。 比 如 从 队列 删除 元 素 前 需要 等 待 
队列 非 空 、 辣 缓存 添加 数据 前 需要 等 待 缓 存 有 足够 的 空间 。 条 件 变 量 就 
是 为 这 种 情况 而 设计 的 。 
建议 按照 下 面 的 模式 使 用 条 件 变 量 : 


























ReentrantLock 


lock = new ReentrantLock 


(); 


Condition 


condition = lock.newCondition(); 


lock.lock(); 
try 


while 











(1« 条 件 为 真 ») 
condition.await(); 
«使 用 共享 资源 > 
} finally 














{ lock.unlock(); } 








一 个 条 件 变 量 需要 与 一 把 锁 关 联 ， 线 程 在 开始 等 竺 条 件 之 前 必须 获取 这 
把 锁 。 获 取 锁 后 ， 线 程 检 查 所 等 竺 的 条 件 是 否 已 经 为 真 。 如 果 条 件 为 
真 ， 线 程 将 解锁 并 继续 执行 。 


如 果 所 等 待 的 条 件 不 为 真 ， 线 程 会 调用 await() ， 它 将 原子 地 解锁 并 
阻塞 等 竺 该 条 件 。 所 谓 一 个 操作 是 原子 的 ， 指 的 是 从 另 一 个 线程 的 角 
该 操作 的 状态 只 能 是 “已 发 生 ? 或 者 “未 发 和 后”， 而 不 会 是 发 生 
了 一 半 。 


当 另 一 个 线程 调用 了 signal() 或 signalAl1() ， 意 味 着 对 应 的 条 件 可 
能 变 为 真 ，await() 将 原子 地 恢复 运行 并 重新 加 锁 。 需 要 注意 的 是 
当 await() 函数 返回 时 ， 只 意味 着 等 待 的 条 件 可 能 为 真 。 这 就 是 为 什么 
要 在 一 个 循环 中 调用 await() 的 原因 一 一 从 await() 返回 后 ， 需 要 重新 
检查 等 待 的 条 件 是 否 为 真 ， 必 要 的 话 可 能 再 次 调用 await() 并 阻塞 。 


我 们 义 有 了 解决 “哲学 家 进餐 问题 * 的 新 方法 : 




















ThreadsLocks/DiningPhilosophersCondition/src/main/java/com/paulbi 





class 


Philosopher extends Thread 


private boolean 


eating; 
private 


Philosopher left; 
private 


Philosopher right; 
private ReentrantLock 


table; 
private Condition 


condition; 
private Random 


random; 
public 


Philosopher (ReentrantLock 


table) { 
eating = false; 
this.table = table; 
condition = table.newCondition(); 
random = new Random 


(); 
} 


public void 


setLeft(Philosopher left) { this.left = left; } 
public void 


setRight(Philosopher right) { this.right = right; } 


public void 


(InterruptedException e) {} 
} 


private void 


think() throws 


InterruptedException { 
table.lock(); 
try 


eating = false; 

left.condition.signal(); 

right.condition.signal(); 
} finally 


{ table.unlock(); } 
Thread 


. Sleep (1000) ; 
} 


private void 


eat() throws 


InterruptedException { 
table.lock(); 
try 


while 


(left.eating || right.eating) 
condition. await(); 
eating 


= true; 
} finally 


{ table.unlock(); } 
Thread 


. Sleep(10@0) ; 
} 
} 





与 之 前 不 同 ， 现 在 的 方法 只 使 用 一 把 锁 (table ) ， 且 没有 Chopstick 
类 。 我 们 将 竞争 从 对 和 合子 的 争夺 转换 成 了 对 状态 的 判断 : 仅 当 哲学 家 的 
左右 邻 座 都 没有 进餐 时 ， 他 才 可 以 进餐 。 换 句 话说 ， 一 个 饥饿 的 哲学 家 
是 在 等 待 下 面 的 条 件 : 


!(left.eating || right.eating) 





当 一 个 哲学 家 饥饿 时 ， 他 首先 锁 住 餐桌 ， 这 样 其 他 哲学 家 无 法 改变 状 








态 ， 然 后 查看 左右 邻 座 是 否 正 在 进餐 。 如 果 没 有 ， 那 么 该 哲学 家 开始 进 
黎 并 解锁 餐 昌 。 否 则 其 调用 await() 以 解锁 餐桌 。 


当 一 个 哲学 家 进餐 结束 并 开始 思考 时 ， 他 首先 锁 住 餐桌 并 将 eating 设 
为 false ， 然 后 通知 左右 邻 座 可 以 进餐 了 ， 最 后 解锁 餐桌 。 如 果 左 右 邻 
和 
开始 进餐 。 


虽然 这 段 代 码 看 上 去 比 之 前 的 解决 方案 复杂 得 多 ， 但 换 来 的 是 并 发 度 的 
显著 提升 。 在 前 一 个 解决 方案 中 ， 经 常 出 现 的 状况 是 只 有 一 个 哲学 家 能 
进餐 ， 因 为 其 他 人 都 持 有 一 根 筷 子 并 在 等 待 妨 外 一 根 。 在 这 个 解决 方案 
人 
可 以 进餐 。 














我 们 已 经 介绍 了 ReentrantLock 。 下 面 将 介绍 另 一 个 内 置 锁 的 替代 方 
案 原子 变量 。 
原子 变量 


在 第 一 天 的 学 习 中 ， 我 们 为 多 线程 计数 器 的 jncrement() 方法 增加 了 
同步 特性 (参见 2.2 节 的 “第 一 把 锁 ” 部 
分 ) 。java.util.concurrent.atomic 包 提 供 了 更 好 的 方案 : 





ThreadsLocks/CountingBetter/src/main/java/com/paulbutcher/Countir 





public class 


Counting { 
public static void 


main(String[] 


args) throws 


InterruptedException { 


> final AtomicInteger 


counter = new AtomicInteger 


class 


CountingThread extends Thread 


{ 
public void 
run() { 
for 
(int 


x = 03 x < 10000; ++X) 


> counter. incrementAndGet(); 
} 
} 
CountingThread t1 = new 
CountingThread(); 
CountingThread t2 = new 


CountingThread() ; 


t1.start(); t2.start(); 
t1.join(); t2.join(); 


System 


.out.println(counter.get()); 
} 


} 





AtomicInteger 的 ijncrementAndGet() 方法 功能 上 等 价 于 ++count 
CAtomicInteger 也 提供 了 getAndIncrement 方法 ， 等 价 于 count++ 


) 。 不 过 与 ++count 不 同 ，incrementAndGet() 方法 是 原子 操作 。 


与 锁 相 比 ， 使 用 原子 变量 有 诸多 好 处 。 首 先 ， 我 们 不 会 筷 了 在 正确 的 时 
候 获 取 锁 。 例 如 ， 因 getCount() 起 了 同步 而 引发 的 Counter 内 存 可 见 
ae 其 次 ， 由 于 没有 锁 的 参与 ， 对 原子 变量 的 操作 不 
会 引发 死 锁 。 


最 后 ， 原 子 变量 是 无 锁 〈lock-free) 非 阻塞 (non-blocking) 算法 的 基 
础 ， 这 种 算法 可 以 不 用 锁 和 阻塞 来 达到 同步 的 目的 。 无 锁 的 代码 比 起 有 
锁 的 代码 更 为 复杂 。 壹 运 的 是 ，java.util.concurrent 包 中 的 类 都 
尽量 使 用 了 无 锁 的 代码 ， 我 们 可 以 在 一 定 程度 上 人 免 于 亲自 实现 的 痛 苗 。 
我 们 将 在 第 三 天 来 学 习 这 些 类 ， 而 现在 先 来 完成 第 二 天 的 最 后 一 点 内 
容 。 


小 乔 爱 问 : 














volatile 变 量 ? 


我 们 可 以 将 Java 变 量 标记 成 volatile 。 这 样 可 以 保证 变量 的 读 写 不 被 
乱 序 执行 。 在 之 前 的 测试 中 《参见 2.2 节 的 “诡异 的 内 存 ” 部 分 ) ， 我 
们 可 以 将 answerReady 标记 成 volatile， 来 解决 Puzzle 类 的 问题 。 


volatile 是 一 种 低级 形式 的 同步 。 它 并 不 能 解决 Counter 的 问题 (& 
见 2.2 节 的 “第 一 把 锁 ? 部 分 ) ， 因 为 将 count 标记 成 volatile 并 不 能 保 
证 count++ 操作 是 原子 的 。 


随 着 JVM 被 不 断 优 化 ， 其 提供 了 一 些 低 开 销 的 锁 ，volatile 变 量 的 适 
用 场景 也 越 来 越 少 。 如 果 你 考虑 使 用 volatile ， 也 许 应 当 
在 java.util.concurrent.atomic 包 中 寻找 更 合适 的 工具 。 


BORA 

我 们 在 第 一 天 的 基础 上 ， 学 习 了 java.util.concurrent.locks 包 和 
java.util.concurrent.atomic 包 提 供 的 更 复杂 更 灵活 的 工具 。 学 习 
和 理解 这 些 工 具 很 重要 ， 但 经 过 第 三 天 的 学 习 后 我 们 就 会 发 现实 际 上 很 
少 会 直接 使 用 锁 。 


第 二 天 我 们 学 到 了 什么 





ReentrantLock 和 java.util.concurrent.atomic 突破 了 使 用 内 置 
锁 的 限制 ， 利 用 新 的 工具 我 们 可 以 做 到 : 


© 在 线程 获取 锁 时 中 断 它 ; 

。 设置 线程 获取 锁 的 超时 时 间 ; 

。 按 任意 顺序 获取 和 释放 锁 ， 

© 用 条 件 变量 等 待 茶 个 条 件 变 为 真 ; 
。 使 用 原子 变量 避免 锁 的 使 用 。 
BRAJ 

ARR 


e ReentrantLock 创建 时 可 以 设置 一 个 描述 公平 性 的 变量 。 什 么 
是 “公平 ”的 锁 ? 何 时 适合 使 用 公平 的 锁 ?” 使 用 非 公平 的 锁 会 怎样 ? 





e 什么 是 ReentrantReadWriteLock ? 它 与 ReentrantLock 有 什么 
Xal? 适用 于 什么 场景 ? 


e 什么 是 “虚假 唤醒 ”(spurious wakeup) ? 什么 时 候 会 发 生 虚 假 唤 
醒 ? 为 什么 符合 规范 的 代码 不 用 担心 虚假 唤醒 ? 





。 什么 是 AtomicIntegerFieldUpdater ? 它 与 AtomicInteger 有 
什么 区 别 ? 适用 于 什么 场景 ? 


实践 


。 在 用 条 件 变 量 解 决 哲 学 家 进餐 问题 时 ， 如 果 将 条 件 变 量 所 在 的 循环 
换 成 if 会 发 生 什 么 ?将 看 到 哪些 失败 的 现象 ? 如 果 将 signal() 换 
成 signalA1l1() 会 发 生 什 么 ? 会 引发 什么 问题 ? 


e 内 置 锁 比 ReentrantLock 限制 更 多 ， 与 之 类 似 ， 内 置 锁 也 文 持 一 
种 限制 较 多 的 条 件 变量 。 用 内 置 锁 、wait() . notify() 
或 notifyA11() 重新 解决 哲学 家 进餐 问题 。 为 什么 内 置 锁 比 
ReentrantLock 效率 更 低 ? 








。 重 写 ConcurrentSortedList ， 用 一 把 锁 代 替 交 蔡 锁 。 测 试 两 个 
方案 的 性 能 。 交 蔡 锁 是 否 有 更 好 的 性 能 ?什么 情况 适用 于 交替 锁 ? 
什么 情况 不 适用 ? 


2.4 第 三 天 : 站 在 巨人 的 肩膀 上 
java.util.concurrent 包 不 仅 提 供 了 第 二 天 介绍 的 比 内 置 锁 更 好 的 


锁 ， 还 提供 了 一 些 通 用 、 高 效 、bug 少 的 并 发 数据 结构 和 工具 。 在 实际 
BEDI EA ees ce PMI a ee Se ne 
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创建 线程 之 终极 版 


第 一 天 我 们 学 习 了 如 何 创建 线程 ， 但 在 实际 应 用 中 很 少 会 直接 创建 线 
程 。 举 个 例子 ， 下 面 是 一 个 非常 简单 的 服务 咒 ， 回 显 接收 到 的 数据 : 





ThreadsLocks/EchoServer/src/main/java/com/paulbutcher/EchoServer 





public class 


EchoServer { 


public static void 


main(String[ ] 


args) throws 


IOException { 


class 


ConnectionHandler implements Runnable 


Inputstream 


in; OutputStream 


out; 
ConnectionHandler (Socket 


socket) throws 


IOException { 
in = socket.getInputStream() ; 
out = socket.getOutputStream() ; 


} 


public void 


run() { 
try 
{ 
int 
n; 
byte[] 


buffer = new byte 


[1024]; 
while 


((n = in.read(buffer)) != -1) { 
out.write(buffer, ©, n); 
out.flush(); 


} 
} catch 


(IOException e) {} 
} 
} 


ServerSocket 


server = new ServerSocket 


(4567); 
while 


(true) { 
> Socket 


socket = server.accept(); 
> Thread 


handler = new Thread 


(new 


ConnectionHandler(socket)); 


> handler.start(); 





标记 出 来 的 代码 行 用 于 接受 一 个 连接 请 求 并 创建 一 个 处 理 线 程 。 这 样 的 
设计 虽然 能 正 第 工作 ， 但 存在 两 个 隐患 ， 第 一 ， 创 建 线程 的 代价 虽然 很 
低 ， 但 也 没 低 到 能 直接 忽略 的 程度 ， 而 每 个 连接 都 花费 了 这 个 代价 ; 第 
二 ， 如 果 为 每 个 连接 都 创建 一 个 线程 ， 当 请 求 连接 的 速度 高 于 处 理 连 接 
的 速度 时 ， 系 统 的 线程 数 也 会 随 之 快速 增长 ， 服 务 器 将 停止 服务 甚至 月 
沉 。 这 就 给 那些 想 对 服务 器 进行 拒绝 服务 攻击 的 人 提供 了 可 乘 之 机 。 


我 们 可 以 用 线程 池 来 避免 这 些 问题 : 


ThreadsLocks/EchoServerBetter/src/main/java/com/paulbutcher/Echo, 





threadPoolSize = Runtime 


.getRuntime().availableProcessors() * 2; 
ExecutorService 


executor = Executors 


.newF ixedThreadPool (threadPoolSize) ; 
while 


(true) { 
Socket 


socket = server.accept(); 


executor.execute(new ConnectionHandler(socket)); 
} 


这 段 代码 创建 了 一 个 线程 池 ， 线 程 池 的 大 小 设 为 可 用 处 理 需 数 的 2 倍 。 
如 果 同 一 时 间 有 超过 线程 池 大 小 的 execute() 请 求 存 在 ， 超 出 的 部 分 将 
进行 排队 直到 茶 线程 被 释放 。 现 在 我 们 不 必 再 为 每 个 连接 都 消耗 资源 来 
创建 线程 ， 而 且 服 务 器 在 面临 高 负载 时 也 能 继续 运转 〈 不 能 保证 服务 
器 对 所 有 连接 都 及 时 响应 ， 但 至 少 可 以 响应 其 中 一 部 分 ) 。 











4 新 的 连接 会 复 用 连接 池 中 的 已 有 线程 ， 而 不 必 创 建新 线程 。 一 一 译 者 注 


写 入 时 复制 


第 一 天 我 们 曾 学 习 过 在 并 发 程序 中 如 何 安全 地 调用 监 昕 器， 当时 

在 updateProgress() 中 创建 了 一 个 保护 性 复制 (参见 2.2 布 中 “来 自 外 
星 方法 的 危害 ”部 分 ) 。Java 标 准 库 提供 了 更 优雅 的 现成 方案 

一 -一 CopyOnWriteArrayList : 




















ThreadsLocks/HttpDownloadBetter/src/main/java/com/paulbutcher/Dı 





private CopyOnWriteArrayList 


<ProgressListener> listeners; 


public void 


addListener(ProgressListener listener) { 
listeners.add(listener) ; 


} 


public void 


removeListener(ProgressListener listener) { 
listeners.remove(listener) ; 


} 


private void 


updateProgress(int 


n) { 


for 


(ProgressListener listener: listeners) 
listener.onProgress(n); 


} 





顾名思义 ，CopyOnWriteArrayList 使 用 了 保护 性 复制 的 策略 。 它 并 
不 是 在 遍历 列表 前 进行 复制 ， 而 是 在 列表 被 修改 时 进行 ， 已 经 投入 使 用 
的 迭代 器 会 使 用 当时 的 旧 副 本 。 这 种 方式 对 许多 用 例 并 不 适用 ， 但 非常 
适用 于 我 们 当下 的 场景 。 


首先 ， 使 用 了 CopyOnWriteArrayList 的 代码 会 变 得 非常 简洁 。 事 实 
上 除了 定义 listeners 的 部 分 稍 有 不 同 ， 其 他 代码 与 最 初 的 非 线程 安 全 
的 版 本 没有 什么 区 别 。 其 次 ， 代 码 将 变 得 更 高 效 ， 因 为 我 们 不 必 在 每 次 
调用 updateProgress() 时 都 创建 副本 ， 而 只 在 listeners 被 更 新 时 
创建 即 可 (更 新 listeners 的 概率 相对 较 低 ) 。 


小 乔 爱 问 : 

线程 池 应 该 有 多 大 ? 

影响 线程 池 最 优 大 小 的 因素 有 很 多 ， 例 如 硬件 的 性 能 、 线 程 任务 是 
CPU 密集 型 还 是 IO 密集 型 、 是 否 有 其 他 任务 在 同时 运行 。 还 有 很 多 
其 他 原因 也 会 产生 影响 。 


话 虽 如 此 ， 但 也 存在 经 验 法 则 : 对 于 CPU 密集 型 的 任务 ， 线 程 池 大 
小 应 接近 于 可 用 核 数 ， 对 于 IO 密集 型 的 任务 ， 线 程 池 可 以 设置 得 更 














当然 ， 最 佳 的 方法 是 建立 一 个 真实 环境 下 的 压力 测试 来 衡量 性 能 。 


一 个 完整 的 程序 


到 目前 为 止 ， 我 们 单独 学 习 了 一 些 工具 。 剩 下 的 时 间 我 们 将 解决 一 个 实 
际 的 小 问题 : Wikipedia 上 出 现 频率 最 高 的 词 是 什么 ? 


乍 看 上 去 这 应 当 不 难 一 一 只 需要 下 载 XML dump 文 件 ” ， 然 后 写 一 个 程 
序 解析 它们 并 计算 词 频 就 可 以 了 。 但 dump 文 件 差 不 多 有 40 GiB， 处 理 起 
来 需要 一 些 时 间 ， 我 们 是 否 可 以 借助 并 行 来 加 速 运行 ? 














http://dumps.wikimedia.org/enwiki/ 





先 从 基本 场景 开始 


一 个 简单 的 串 行 程序 统计 前 100 000 页 Cpage) 的 
词 频 需要 花费 多 久 ? 


ThreadsLocks/W ordCount/src/main/java/com/paulbutcher/WordCoun 





public class 


WordCount { 
private static final HashMap 


<String 


, Integer 


> counts = 
new HashMap 


<String 


» Integer 


>() 


public static void 


main(String[ ] 


args) throws 


Exception { 
Iterable 


<Page> pages = new 


Pages(100000, "enwiki.xmt 


DE 


for 


(Page page: pages) { 
Iterable 


<String 


> words = new 


Words (page.getText()); 
for 


(String 


word: words) 
countWord (word) ; 
} 
} 


private static void 


countWord (String 


word) { 
Integer 


currentCount = counts.get(word) ; 
if 


(currentCount == null) 
counts.put(word, 1); 
else 


counts.put(word, currentCount + 1); 





在 我 的 MacBook Pro 上， 这 需要 花费 105 秒 。 


那 应 该 从 何 处 下 手 研发 并 行 的 版 本 呢 ? 主 循环 的 每 一 次 循环 都 完成 了 两 
个 任务 一 一 首先 解析 XML 并 构造 一 个 Page ， 然 后 “消费 ”这 个 page， 对 
page 中 的 内 容 统 计 词 频 。 








这 类 问题 可 以 归结 为 一 种 经 典 模式 生产 者 -消费 者 (producer- 
consumer) 模式 。 相 比 只 用 一 个 线程 自 产 自 销 ， 我 们 可 以 创建 两 个 线 
Fe: 一 个 生产 者 和 一 个 消费 者 。 


首先 ， 定 义 一 个 生产 者 Parser : 





ThreadsLocks/W ordCountProducerConsumer/src/main/java/com/paul 





class 


Parser implements Runnable 


private BlockingQueue 


<Page> queue; 


public Parser 


(BlockingQueue 


<Page> queue) { 
this.queue = queue; 


} 


public void 


run() { 
try 


> Iterable 


<Page> pages = new 


Pages(100000, “enwiki. xml 


> for 


(Page page: pages) 
> queue. put (page) ; 
} catch 


(Exception e) { e.printStackTrace(); } 
} 
} 





run() 的 方法 体 是 之 前 串 行 版 本 的 外 层 循环 ， 但 对 所 产生 的 page 不 直接 
统计 词 频 ， 而 是 将 该 page 加 入 到 队列 末尾 。 


然后 ， 定 义 一 个 消费 者 : 





ThreadsLocks/W ordCountProducerConsumer/src/main/java/com/paul 





class 


Counter implements Runnable 


private BlockingQueue 


<Page> queue; 
private Map 


<String, Integer 


> counts; 
public 


Counter (BlockingQueue 


<Page> queue, 
Map 


<String, Integer 


> counts) { 
this.queue = queue; 
this.counts = counts; 


} 


public void 


while 


(true) { 
> Page page = queue.take(); 
if 


(page.isPoisonPill()) 
break 


> Iterable 
<String 
> words = new 


Words (page. getText()); 
> for 


(String 


word: words) 
> countWord (word) ; 


} 
} catch 


(Exception e) { e.printStackTrace(); } 


} 





你 可 能 已 经 猜 到 了 ， 方 法 体 是 之 前 串 行 版 本 的 内 层 循环 ， 从 队列 里 获取 


输入 。 
最 后 ， 创 建 两 个 线程 : 


ThreadsLocks/W ordCountProducerConsumer/src/main/java/com/paul 





ArrayBlockingQueue 


<Page> queue = new ArrayBlockingQueue 


<Page>(10@) ; 
HashMap 


<String 


» Integer 


> counts = new HashMap 


<String, Integer 


>(); 


Thread 


counter = new Thread 


(new 


Counter(queue, counts)); 
Thread 


parser = new Thread 


(new 


Parser 


(queue) ) ; 


counter.start(); 
parser.start(); 
parser. join(); 
queue. put (new 


PoisonPill()); 
counter. join(); 





java.util.concurrent 包 中 的 ArrayBlockingQueue 是 一 个 并 发 队 
列 ， 韭 常 适合 实现 生产 者 -消费 者 模式 。 其 提供 了 高 效 的 并 发 方法 put() 
和 take() ， 这 些 方法 会 在 必要 时 阻塞 : 当 对 一 个 空 队列 调用 take() 

时 ， 程 序 会 阻 考 直到 队列 变 为 非 空 ， 当 对 一 个 满 队列 调用 put() 时 ， 程 
序 会 阻 堵 直到 队列 有 足够 空间 。 


小 乔 爱 问 : 
为 什么 用 阻塞 队列 ? 


java.util.concurrent 包 不 仪 提供 了 阻 罕 队列 ， 还 提供 了 一 种 
容量 无 限 、 操 作 不 需 等 待 、 非 阻塞 的 队 





列 ConcurrentLinkedQueue 。 这 些 特性 听 上 去 非常 诱 人 ， 那 为 什 
么 在 这 个 场景 下 它 不 是 一 个 好 的 解决 方案 呢 ? 


关键 在 于 生产 者 和 消费 者 可 能 不 会 〈 几 乎 肯定 不 会 ) 保持 相同 的 速 
度 。 比 如 ， 当 生产 者 的 速度 快 于 消费 者 的 速度 时 ， 队 列 会 越 来 越 
大 。Wikipedia 的 dump 差 不 多 有 40 GiB， 很 容易 就 让 队列 大 小 超过 








相 比 之 下 ， 阻 塞 队列 只 允许 生产 者 的 速度 在 一 定 程 度 上 超过 消费 者 
的 速度 ， 但 不 会 超过 很 多 。 


为 一 个 有 趣 的 话题 是 消费 者 如 何 知 道 何 时 应 该 退出 : 


ThreadsLocks/W ordCountProducerConsumer/src/main/java/com/paul 


(page.isPoisonPill()) 


break 





BFL (poison pill) Æ- SERR, BURT Star Bs CAE T, 
你 可 以 退出 了 ”。 这 非常 类 似 于 C/C++ 中 用 null 字 符 作 为 字符 串 的 结尾 。 


HEr a 费 者 模式 进行 优化 后 ， 程 序 运行 提速 了 一 一 从 105 秒 提升 到 
了 95 秒 。 


而 我 们 可 以 做 得 更 好 。 生 产 者 -消费 者 模式 的 优点 不 仅 在 于 可 以 并 行 地 
生产 和 消费 ， 还 可 以 存在 多 个 生产 者 和 /或 多 个 消费 者 。 

那么 我 们 应 该 重点 加 速生 产 者 的 速度 还 是 消费 者 的 速度 ? 哪 段 代 码 占 用 
了 大 量 的 运行 时 间 ? 如 果 临 时 改动 一 下 代码 ， 只 运行 生产 者 的 部 分 ， 会 
发 现 分 析 前 100 000 页 花费 了 近 10 秒 。 


仔细 想 一 下 就 可 以 解释 这 个 现象 。 最 初 的 串 行 版 本 花费 了 105 秒 ， 而 生 




















产 者 -消费 者 版 本 花费 了 95 秒 。 显 然 解析 文件 花费 了 10 秒 ， 而 统计 词 频 
花费 了 95 秒 。 所 以 当 解 析 和 统计 并 行 时 ， 整 体 运行 时 间 会 减少 到 两 者 中 
较 长 的 时 间 一 一 95 秒 。 

要 进一步 优化 ， 束 要 对 统计 过 程 进 行 并 行 化 ， 建 并 多 个 消费 者 。 图 2-3 
示意 了 我 们 要 做 的 事情 。 


队列 









计数 结果 







Aardvark—3 
Abacus—5 
Acrobat—12 
Advert 一 0 





图 2-3 ”建立 多 个 消费 者 ， 对 统计 过 程 进行 并 行 化 


如 果 多 个 线程 要 同时 统计 词 频 ， 丈 需要 一 种 方法 来 同步 对 counts 对 象 
的 访问 。 


首先 ， 我 们 想到 由 Collections 包 的 synchronizedMap() 提供 的 同步 
的 map 。 遗 憾 的 是 这 类 同步 的 集合 并 不 提供 原子 的 读 - 改 - 写 的 方法 ， 所 
以 不 能 使 用 它们 。 如 果 使 用 HashMap， 就 必须 自己 实现 对 访问 的 同步 。 


下 面 是 修改 后 的 countWord(): 





ThreadsLocks/WordCountSynchronizedHashMap/src/main/Java/com/l 





private void 


countWord(String 


word) { 
>  lock.lock(); 
try 


Integer 


currentCount = counts.get(word) ; 


if 
(currentCount == null) 
counts.put(word, 1); 
else 


counts.put(word, currentCount + 1); 
> i} finally 


{ lock.unlock(); } 





然后 ， 修 改 代码 来 运行 多 个 消费 者 : 


ThreadsLocks/W ordCountSynchronizedHashMap/src/main/java/com/| 





ArrayBlockingQueue 


<Page> queue = new ArrayBlockingQueue 


<Page>(10@) ; 
HashMap 


<String, Integer 


> counts = new HashMap 


<String, Integer 


>(); 


ExecutorService 


executor = Executors 


.newCachedThreadPool(); 
for 


(int 


i = @; i < NUM_COUNTERS; ++i) 
executor.execute(new 


Counter(queue, counts)); 
Thread 


parser = new Thread 


(new Parser 


(queue) ) ; 
parser.start(); 
parser.join(); 
for 


(int 


i = Ø; i < NUM COUNTERS; ++i) 
queue. put (new 


PoisonPill()); 
executor. shutdown(); 
executor.awaitTermination(10L, TimeUnit 


.MINUTES) ; 





与 之 前 的 主 代码 相 比 ， 这 段 代 码 的 变化 是 使 用 了 线程 池 ， 方 便 管 理 多 个 
我 们 还 必须 使 用 适当 数量 的 毒 丸 ， 保 证 消费 者 的 线程 痢 可 以 退 


一 切 看 起 来 都 很 完美 ， 但 我 们 的 梦想 很 快 就 破灭 了 。 分 别 测量 一 下 使 用 
一 个 消费 者 和 两 个 消费 者 所 花费 的 时 间 〈 加 速 比 * 是 相对 于 串 行 版 
本 ) ， 如 表 2-1 所 示 。 











6 加速 比 是 指 串 行 算法 执行 时 间 和 并 行 算 法 执行 时 间 的 比值 。 一 一 译 者 注 











表 2-1 使 用 一 个 消费 者 和 两 个 消费 者 所 花费 时 间 的 比较 














为 什么 增加 一 个 消费 者 反而 更 慢 ? 而 且慢 了 原来 的 一 半 之 多 ? 


REA AL Bese ft 一 一 过 多 的 线程 符 试 同时 使 用 一 个 共享 资源 。 在 
我 们 的 程序 中 ， 消 费 者 花费 大 量 时 间 等 待 被 其 他 消费 者 锁 住 的 counts 
， 它 们 的 等 每 时 间 比 实际 运算 时 间 还 要 长 ， 最 终 导 致 惨烈 的 性 能 下 降 。 














好 在 我 们 不 会 就 此 退缩 。java.util.concurrent 包 的 
ConcurrentHashMap 正 是 我 们 所 需要 的 。 它 不 仅 提 供 了 原子 的 读 - 改 - 
SNA, 还 使 用 了 更 高 级 的 并 发 访问 (被 称 为 锁 分 段 Cock striping) 
FLAK) a 


7 ConcurrentHashMap 内 部 使 用 了 锁 分 段 技 术 ， 可 以 提升 其 并 发 性 能 。 一 一 译 者 注 














下 面 是 使 用 了 ConcurrentHashMap 的 countWord() 代码 。 


ThreadsLocks/W ordCountConcurrentHashMap/src/main/java/com/pa 





private void 


countWord (String 


word) { 
while 


(true) { 
Integer 


currentCount = counts.get(word) ; 
if 


(currentCount == null) { 
if 


(counts.putIfAbsent(word, 1) == null) 
break 


} else if 


(counts.replace(word, currentCount, currentCount + 1)) { 
break 








我 们 需要 花 点 时 间 来 理解 这 个 机 制 。 此 处 使 用 了 putIfAbsent() 和 
replace() 来 取代 原来 的 put() 方法 。putIfAbsent() 的 相关 文档 如 
Be 





如 条 指定 键 没 有 与 茶 值 关联 ， 则 将 指定 键 与 指定 值 进行 关联 。 其 与 





以 下 代码 的 区 别 是 具有 原子 性 : 





(!map.containsKey(key) ) 
return 


map.put(key, value); 
else 


return 


map.get(key); 





replace() 的 相关 文档 如 下 。 


仅 当 指定 键 与 指定 旧 值 关联 时 ， 将 指定 键 与 指定 新 值 进行 和 关联。 其 
与 以 下 代码 的 区 别 是 具有 原子 性 : 





(map.containsKey(key) && map.get(key).equals(oldValue)) { 
map.put(key, newValue); 
return 


true; 
} else return 





当 使 用 这 些 函 数 时 ， 需 要 检查 其 返回 值 来 判断 是 售 操 作成 功 。 如 有 果 没 有 
成 功 ， 则 需要 重 试 。 


再 次 测量 运行 时 间 ， 这 次 就 不 那么 起 剧 了 ， 如 表 2-2 所 示 。 


表 2-2 使 用 Concurrent HashMap 所 花费 时 间 的 比较 




















搞定 ! 这 次 可 以 通过 增加 消费 者 的 数量 来 提升 计算 速度 。 不 过 增加 到 4 
个 以 上 的 消费 者 时 ， 计 算 速度 开始 下 降 。 


里 然 63 秒 的 成 绩 比 串 行 版 本 的 105 秒 要 好 得 多 ， 但 也 没 能 达到 2 倍 的 提 
速 。 我 的 MacBook 有 四 个 核 一 一 理论 上 应 该 有 近 4 倍 的 提速 。 


我 们 还 注意 到 消费 者 对 counts 有 一 些 不 必要 的 竞争 。 与 其 所 有 消费 者 
都 共享 同一 个 counts ， 不 如 每 个 消费 者 各 自 维 护 一 个 计数 map， 再 对 
这 些 计 数 map 进 行 合 并 : 

















ThreadsLocks/W ordCountBatchConcurrentHashMap/src/main/java/c: 





private void 


mergeCounts() { 
for 


(Map 


.Entry<String, Integer 


> e: localCounts.entrySet()) { 
String 


word = e.getKey(); 
Integer 


count = e.getValue(); 
while 


(true) { 
Integer 


currentCount = counts.get(word) ; 
if 


(currentCount == null) { 
if 


(counts.putIfAbsent(word, count) == null) 
break 


} else if 


(counts.replace(word, currentCount, currentCount + count)) { 
break 

















现在 的 程序 性 能 不 仅 随 着 消费 者 的 增加 而 快速 提升 ， 而 且 超 过 4 个 消费 


者 后 性 能 仍 会 继续 提升 。 这 大 概 是 因为 我 的 MacBook 文 持 “ 超 线程 "一 -一 
虽然 只 有 4 个 物理 核 ， 但 是 availableProcessors() 会 返回 8。 


图 2-4 展 示 了 三 个 不 同 版 本 程序 的 性 能 。 













多 个 ConcurrentHashMap 


N 


ConcurrentHashMap 


加 速 比 


同步 的 HashMap 


消费 者 数量 


图 2-4 ”消费 者 个 数 对 词 频 统计 程序 性 能 的 影响 


并 行程 序 的 性 能 曲线 大 多 与 此 类 似 。 起 初 性 能 快速 线性 增长 ， 之 后 增长 
趋势 放 绥 ， 最 终 性 能 达到 极 值 ， 线 程 数 再 增加 性 能 则 会 下 降 。 


现在 回顾 一 下 我 们 已 经 完成 了 什么 : 建立 了 一 个 相对 复杂 的 生产 者 - 消 
费 者 程序 ， 多 个 消费 者 通过 一 个 并 发 队列 和 一 个 并 友 map 进 行 协作 ， 程 
序 中 没有 显 式 地 使 用 锁 ， 而 是 使 用 了 标准 库 提 供 的 并 发 工具 。 
第 三 天 忆 结 

我 们 已 经 完成 了 线程 与 锁 模 型 最 后 一 天 的 学 习 。 

第 三 天 我 们 学 到 了 什么 


java.util.concurrent 包 提 供 的 工具 不 仅 让 并 发 编程 更 容易 ， 而 且 
在 以 下 方面 让 程序 更 安全 高 效 : 

















。 使 用 线程 池 ， 而 不 直接 创建 线程 ; 
。 使 用 CopyOnWriteArrayList 让 监听 器 相关 的 代码 更 简单 高 效 ; 
e 使 用 ArrayBlockingQueue 让 生产 者 和 消费 者 之 间 高 效 协作 ; 
。 ConcurrentHashMap 提供 了 更 好 的 并 发 访问 。 

第 三 天 自习 

查找 


。 阅读 ForkJoinPool 的 文档 
别 ? 分 别 适 用 于 什么 场景 ? 


e 什么 是 work-stealing? 它 适 用 于 什么 场景 ?如 何 
用 java.util.concurrent 包 提 供 的 工具 实现 work-stealing? 


fork/join 框 架 与 线程 池 有 什么 区 





e CountDownLatch 和 CyclicBarrier 有 什么 区 别 ? 分 别 适用 于 什 
么 场景 ? 


e 什么 是 阿 姆 达尔 定律 (Amdahls law) ? 如 何 计 算出 词 频 统计 程序 
的 最 大 理论 加 速 比 ? 


实践 


。 修改 生产 者 -消费 者 版 本 的 代码 ， 用 “数据 结束 ”标识 取代 毒 丸 ， 在 
生产 者 与 消费 者 有 速度 差异 时 要 确保 程序 运行 正常 。 队 列 被 置 “ 数 
据 结 束 ” 标 识 时 ， 如 果 消 费 者 尝试 从 队列 中 移 除 元 素 会 及 生 什么 ? 
为 什么 毒 丸 方法 会 被 广泛 采用 ? 


。 在 不 同 的 电脑 上 运行 不 同 版 本 的 词 频 统 计 程 序 。 不 同 电脑 上 的 性 能 
曲线 有 什么 区 别 ? 如 果 在 一 台 32 核 电脑 上 运行 ， 是 否 会 得 到 近 32 倍 
的 提速 ? 




















2.5 复习 


线程 与 锁 模 型 可 能 是 这 本 书 介 绍 的 最 上 共有 和 争议 的 模型 。 很 多 程序 员 觉 得 
它 难 以 驾驶 而 感到 惯 怕 ， 不 顾 一 切 地 避免 多 线程 编程 。 而 男 一 些 程序 员 
却 不 以 为 然 ， 他 们 觉得 只 要 遵守 一 些 规 则 ， 线 程 与 锁 模 型 其 实 别 无 他 
样 。 

















让 我 们 来 看 一 下 这 个 模型 的 优点 和 缺点 。 
优点 


线程 与 锁 模型 的 最 大 优点 是 其 适用 面 很 广 。 它 是 本 书 介 绍 的 其 他 许多 技 
术 的 基础 ， 适 用 于 解决 很 多 类 型 的 问题 。 同 时 ， 线 程 与 锁 模 型 更 接近 
村“ 本质” 一 一 近似 于 对 硬件 工作 方式 的 形式 化 一 一 正确 使 用 时 ， 其 效率 
很 高 。 这 也 意味 着 它 能 够 解决 从 小 到 大 不 同 粒度 的 问题 。 


另外 ， 这 个 模型 可 以 被 轻松 地 集成 到 大 多 数 编程 语言 中 。 语 言 设计 者 们 
可 以 轻易 让 一 门 指令 式 语 言 或 面 癌 对 象 语 言 文 持 线程 与 锁 模 型。 


缺点 


线程 与 锁 模 型 没有 为 并 行 提供 直接 的 支持 (之 前 我 们 提 到 过 并 发 与 并 行 
AIR AAR AR, BMI) 。 在 之 前 词 频 统 计 的 例子 中 ， 我 们 确实 用 
这 个 模型 将 一 个 串 行 算 法 并 行 地 运行 ， 但 前 提 是 该 程序 被 改造 成 了 并 友 
形式 ， 同 时 引入 了 不 确定 性 的 隐患 。 


除了 一 些 特例 ， 比 如 实验 性 的 研究 分 布 式 共 译 内存 的 系统 ， 线 程 与 锁 模 
型 仅 文 持 共 诗 内 存 模型 。 如 果 要 文 持 分 布 式 内 存 模型 (无 论 是 地 理 分 布 
型 或 者 容错 型 )， 就 需要 寻求 其 他 技术 的 帮助 。 这 也 意味 者 线程 与 锁 模 
型 不 适用 于 单个 系统 无 力 解决 的 问题 。 

使 用 这 个 模型 最 大 的 缺点 在 于 无 助 。 语 言 设计 者 很 容易 将 其 集成 到 某 
一 门 语 言 中 ， 但 对 于 我 们 这 些 可 怜 的 程序 员 ， 编 程 语言 层面 并 没有 提供 
足够 的 帮助 。 


不 易 察觉 的 错误 






































我 认为 应 用 多 线程 的 难点 不 在 于 难以 编程 ， 而 在 于 难以 测试 。 在 多 线 
程 编程 中 ， 从 坑 里 爬 出 来 并 不 难 ， 难 的 是 我 们 不 知道 目 己 是 不 是 已 在 坑 
里; 








以 内 存 模型 为 例 。 如 2.2 节 的 “内 存 可 见 性 ?部 分 所 述 ， 两 个 线程 在 没有 同 
步 的 情况 下 访问 同一 片 内 存 ， 奇 怪 的 事情 就 会 接 题 而 全 。 但 我 们 怎么 知 
道 目 己 的 程序 是 不 是 正确 的 ? 是 否 能 写 一 个 测试 来 证 明 访问 内 存 时 相应 
的 代码 都 有 同步 保护 ? 


可 惜 我 们 做 不 到 。 确 实 可 以 写 一 段 代码 来 进行 压力 测试 ， 但 这 些 测试 成 
功 并 不 意味 独 被 测 代码 是 正确 的 。 例 如 ， 在 解决 哲学 家 进餐 问题 时 ， 我 
们 曾 讨论 过 产生 死 锁 的 代码 ， 而 这 段 代码 曾经 正常 运行 了 一 周 多 后 才 出 
现 死 锁 。 


测试 中 的 一 个 大 问题 是 多 线程 的 bug 很 难 重 现 一 一 我 不 止 一 次 在 凌晨 被 
叫 醒 ， 因 为 服务 器 在 正常 运行 儿 个 月 后 突然 出 了 问题 。 如 果 一 个 问题 每 
十 分 钟 就 会 发 生 一 次 ， 我 们 很 快 束 能 定位 该 问题 ， 但 如 果 要 正常 运行 几 
个 月 才能 重 现 问 题 ， 这 就 很 难 进行 调试 。 


更 糟糕 的 是 ， 我 们 很 有 可 能 写 出 一 个 包含 多 线程 bug 的 程序 ， 但 无 论 怎 
样 彻底 地 长 期 地 进行 测试 ， 该 程序 从 不 会 被 测 出 错误 来 。 假 如 用 一 种 
可 能 被 乱 厅 执行 的 方式 访问 内 存 ， 并 不 意味 看 乱 序 执行 真 的 会 及 生 。 这 
样 ， 我 们 就 完全 不 知道 程序 有 bug， 直 到 升级 JVM 或 者 使 用 不 同 的 硬件 
时 ， 才 会 发 生 一 些 诡异 的 事情 。 


可 维护 性 


上 述 问题 在 编写 代码 时 已 经 让 人 很 头疼 了 ， 更 过 分 的 是 代码 不 可 能 不 变 
更 。 我 们 要 全 程 保 证 万 有 对 象 的 同步 都 是 正确 的 、 必 须 按照 顺序 来 获取 
多 把 锁 、 持 有 锁 时 不 调用 外 星 方法 。 还 要 保证 12 个 月 之 后 换 了 另外 10 个 
程序 员 仍然 按照 这 个 规则 维护 代码 。 过 去 十 几 年 ， 自 动 测试 让 我 们 信心 
十 足 地 进行 重 构 ， 但 如 果 不 能 对 多 线程 问题 进行 可 靠 的 测试 ， 惑 无 法 对 
多 线程 代码 进行 可 靠 的 重 构 。 


最 终 我 们 仅 有 的 方法 是 谨慎 地 思考 多 线程 代码 。 除 了 说 惯 地 思考 ， 就 是 
更 谨慎 地 思考 。 当 然 ， 这 种 方法 并 不 容易 ， 而 且 无 法 量化 。 


收拾 残局 















































我 认为 诊断 多 线程 问题 的 感觉 ， 非 常 类 似 于 一 级 方程 式 赛 车 的 工程 
师 诊 断 引 擎 故障 : 引擎 在 正常 运行 几 个 小 时 后 ， 突 然 在 没有 任何 征 
兆 的 情况 下 发 生 严 重 故 障 ， 机 油 和 零件 散落 一 地 ， 狼 狐 不 堪 。 


当 赛 车 被 拖 回 维修 广 后 ， 可 怜 的 工程 师 要 面 对 一 堆 残 通 找 出 故障 的 
原因 。 故 障 原因 可 能 是 很 小 的 一 一 一 个 坏 的 油 俏 轴承 或 者 阀门 ， 但 
应 该 如 何 从 一 片 混乱 中 找 出 原因 呢 ? 


经 第 使 用 的 方法 是 尽 可 能 地 完善 对 引擎 数据 的 记录 ， 并 让 赛车 手 使 
用 新 的 引擎 。 和 希望 下 次 及 生 故 障 时 数据 能 提供 一 些 有 用 的 信息 。 


其 他 语言 


如 果 你 想 深 入 研究 JVM 的 线程 与 锁 模 型 ， 由 java.util.concurrent 
包 的 作者 撰写 的 Java Concurrency in Practice [Goe06] 是 个 不 错 的 起 点 。 
不 同 语言 之 间 ， 多 线程 编程 的 细节 可 能 有 所 不 同 ， 但 本 章 我 们 介绍 的 原 
理 普 裔 适用 ， 包 括 下 面 这 些 规则 : 访问 共享 变量 时 需要 同步 、 按 照 全 局 
的 固定 的 顺序 来 获得 多 把 锁 、 持 有 锁 时 避免 调用 外 星 方法 。 


值得 一 提 的 是 ， 虽 然 我 们 仅 讨 论 了 Java 的 内 存 模型 ， 但 是 会 对 内 存 访问 
进行 乱 序 执行 的 却 不 止 Java。 大 多 数 语 言 没有 对 内 存 模型 做 出 完善 的 定 
义 ， 没 有 明确 地 说 明 乱 序 执行 何 时 发 生 以 及 如 何 发 生 。 在 这 方面 Java 是 
先驱 者 ， 是 第 一 个 完整 定义 内 存 模型 的 主流 语言 。C 和 C++ 是 在 C 11 和 
C++ 11 的 标准 中 才 补 充 了 内 存 模型 。 


+F. 
结 Wa 
































伴随 着 种 种 挑战 ， 在 可 预见 的 将 来 多 线程 编程 将 一 直 伴 随 着 我 们 。 我 们 
也 会 在 之 后 的 章节 中 介绍 其 他 一 些 有 用 的 相关 知识 。 


下 一 草 我 们 将 学 习 函 数 式 编程 ， 它 不 使 用 可 变 状 态 ， 从 而 避免 了 线程 与 
锁 模 型 的 很 多 缺陷 。 即 使 你 不 打算 写 函 数 式 的 代码 ， 理 解 函 数 式 编程 背 
后 的 原理 也 很 有 价值 一 一 我 们 以 后 学 习 的 很 多 并 发 模型 也 应 用 了 这 些 原 
Hs 











第 3 章 phyB AE 


函数 式 编 程 (Functional Programming) 就 像 一 辆 高 端 、 新 潮 的 氨 燃 料 汽 
车 ， 虽 然 还 未 被 广泛 使 用 ， 但 二 十 年 后 我 们 的 生活 将 与 它 密 不 可 分 。 


函数 式 编 程 与 命令 式 编程 〈Imperative Programming) 不 同 。 命 令 式 编程 
的 代码 由 一 系列 改变 全 局 状态 的 语句 构成 ， 而 函数 式 编程 则 是 将 计算 
过 程 抽象 成 表达 式 求 值 。 这 些 表达 式 由 纯 数学 函数 构成 ， 而 这 些 数 学 函 
数 是 第 一 类 对 象 〈 我 们 可 以 像 操作 数值 一 样 操作 第 一 类 对 象 ) 并 且 没 有 
副作用 。 由 于 没有 副作用 ， 函 数 式 编程 可 以 更 容易 做 到 线程 安全 ， 因 此 
RAVES TA AAS EERE BU AEREA AR 
型 。 











3.1 GAR, MAMIE 


第 2 章 提 到 的 有 关 锁 的 一 些 规 则 ， 都 是 针对 于 线程 之 间 共 享 的 可 变 的 数 
据 一 一 换个 说 法 就 是 共享 可 变 状态 。 而 对 于 不 变 的 数据 ， 多 线程 不 使 
用 锁 就 可 以 安全 地 进行 访问 。 


这 就 是 为 什么 在 解决 并 发 和 并 行 问题 时 函数 式 编 程 会 如 此 引 人 注 目 一 一 
它 没 有 可 变 状 态 ， 所 以 不 会 遇 到 由 共 胖 可 变 状 态 带 来 的 种 种 问题 。 


本 章 中 我 们 将 用 Clojure 语 言 ! 来 介绍 函数 式 编程 ， 这 是 一 门 运行 在 JVM 
上 的 Lisp 方 言 。Clojure 是 动态 类 型 语言 ， 如 果 你 是 Ruby 或 Python 程 序 
员 ， 肯 定 不 会 对 此 感到 陌生 。 虽 然 Clojure 不 是 一 门 纯粹 的 函数 式 语言 ， 
但 本 章 只 会 讨论 其 函数 式 的 特征 。 本 书 只 能 按 需 介绍 Clojure， 如 果 你 还 
想 深 入 学 习 ， 推 荐 阅读 Stuart Halloway 和 Aaron Bedra 编 写 的 《Clojure 程 
PRI g 

















1 http://clojure.org 








2 该 书 中 文 版 已 由 人 民 邮 电 出 版 社 


第 一 天 ， 我 们 将 学 习 函 数 式 编程 的 基础 ， 并 了 人 解 如 何 并 行 化 一 个 函数 式 
算法 。 第 二 天 ， 深 入 学 习 Clojure 的 reducer 框 架 ， 以 及 在 该 框架 下 是 如 何 
进行 并 行 化 的 。 第 三 天 ， 将 注意 力 从 并 行 转 回 并发， 利用 future 模 型 和 
promise 模 型 创建 一 个 并 发 的 函数 式 Web 服 务 。 


出 版 。 一 一 编者 注 




















3.2 第 一 天 : 抛弃 可 变 状态 

当 程序 员 初 次 学 习 函 数 式 编程 时 ， 第 一 反应 通常 是 怀疑 一 正常 程序 怎 
么 可 能 不 更 新 变量 。 经 过 后 面 的 学 习 你 会 发 现 ， 这 不 仅 是 可 能 的 ， 而 且 
要 比 写 命令 式 的 代码 更 简单 。 

可 变 状 态 的 风险 


今天 将 重点 讨论 并 行 。 我 们 将 创建 一 个 简单 的 函数 式 程 序 ， 并 演示 如 何 
轻松 地 将 其 并 行 化 。 


不 过 要 先 来 学 习 儿 个 Java 的 例子 ， 看 看 为 什么 要 避免 使 用 可 变 状态 。 
隐藏 的 可 变 状 态 
下 面 这 个 类 没有 使 用 可 变 状态 ， 看 上 去 肯定 是 线程 安全 的 : 














FunctionalProgramming/DateF ormatBug/src/main/java/com/paulbutcl 





class 


DateParser { 
private final DateFormat 


format = new SimpleDateFormat 


("yyyy-MM- dd 


“3 


public Date 


parse(String 


s) throws 


ParseException { 
return 


format.parse(s); 


} 








但 当 多 个 线程 使 用 这 个 类 的 同一 对 象 时 (源码 可 以 在 本 书 配 套 代码 中 找 
到 ) ， 首 次 运行 可 能 会 得 到 如 下 错误 : 


Caught: java.lang.NumberFormatException: For input string: ".12012E4.12012E 
Expected: Sun Jan 61 00:00:00 GMT 2012, got: Wed Apr 15 00:00:00 BST 2015 








再 次 运行 ， 可 能 又 会 得 到 如 下 错误 : 


Caught: java.lang.ArrayIndexOutOfBoundsException: -1 








第 三 次 运行 ， 可 能 还 会 得 到 为 一 个 错误 : 





Caught: java.lang.NumberFormatException: multiple points 
Caught: java.lang.NumberFormatException: multiple points 


虽然 这 段 代 码 只 有 一 个 成 员 变 量 ， 而 且 被 标记 成 不 可 变 〈 即 final ) ， 
但 显然 这 段 代码 根本 达 不 到 线程 安全 ， 为 什么 呢 ? 


造成 问题 的 原因 是 SimpleDateFormat 内 部 有 隐藏 的 可 变 状态 。 你 可 能 
会 认为 这 应 该 是 个 bug3 ， 但 对 我 们 来 说 是 不 是 bug 并 不 重要 。Java 这 类 
语言 为 了 让 代码 写 起 来 简单 ， 在 此 隐藏 了 可 变 状态 ， 这 也 使 我 们 无 法 判 
断 何 时 会 发 生 问 题 一 一 从 API 无 法 判断 SimpleDateFormat 是 否 是 线程 
安全 的 。 

















3 http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4228335 








隐藏 的 可 变 状态 还 不 是 唯一 需要 留意 的 问题 ， 我 们 再 来 看 一 个 。 
逃逸 的 可 变 状态 


假设 我 们 要 创建 一 个 管理 比赛 的 Web 服务。 需求 是 能 管理 一 个 运动 员 列 
表 ， 我 们 会 习惯 地 写 出 如 下 代码 : 











public class 


Tournament { 
private List 


<Player> players = new LinkedList 


<Player>(); 


public synchronized void 


addPlayer(Player p) { 


players.add(p); 


public synchronized Iterator 


<Player> getPlayerIterator() { 
return 


players.iterator(); 
} 
} 








乍 一 看 上 去 这 段 代码 是 线程 安全 的 一 一 players 是 私有 变量 ， 仅 被 
addPlayer() 和 getPlayerIterator() 使 用 ， 旦 两 个 方法 都 标记 了 
synchronized 。 然 而 它 并 不 是 线程 安全 的 ， 
AgetPlayerIterator() 返回 的 迭代 器 仍 引 用 了 players 内 部 的 可 变 
状态 一 一 如 果 在 迭代 器 被 使 用 时 ， 男 一 个 线程 调用 了 addPlayer() 方 
法 ， 那 么 程序 就 会 抛 出 ConcurrentModificationException 或 者 变 
得 更 糟 。 也 就 是 说 可 变 状态 从 Tournament 的 重重 防护 下 逃逸 了 。 


在 并 有 编程 中 ， 隐 藏 和 逃逸 仅仅 是 两 种 可 变 状态 带 来 的 风险 一 一 还 有 很 
多 其 他 风险 。 如 果 能 找到 一 种 不 使 用 可 变 状态 的 方法 ， 就 可 以 避 开 这 些 
风险 ， 这 正 是 函数 式 编 程 为 我 们 种 来 的 电光 。 




















Clojure 旋 风 之 旅 

了 解 Clojure 的 Lisp 语 法 只 需要 几 分 钟 。 

体验 Clojure 最 简单 的 方法 是 使 用 它 的 REPL (Read-Evaluate-Print 
Loop) ， 可 以 通过 lein repl 来 启动 REPL (lein 是 Clojure 的 构建 工 
H) 。 在 REPL 中 输入 代码 ， 代 人 码 将 被 立刻 执行 ， 既 不 需要 创建 源 文 


件 ， 也 不 需要 编译 ， 这 在 进行 代码 试验 时 会 出 人 意料 地 方便 。REPL 局 
动 后 ， 会 看 到 如 下 提示 符 : 


user 


在 提示 符 后 输入 的 Clojure 代 码 将 立刻 被 执行 。 


Clojure 代 人 码 由 s- 表 达 式 构成 ， 可 以 将 $- 表 达 式 视 为 珊 括 号 的 列表 。 主 流 
语言 中 的 max(3，5) 在 Clojure 中 写成 : 





=> (max 3 5 





数学 运算 符 也 是 同样 的 表示 方式 。 比 如 1 + 2 * 3, Bm: 





=> (+ 1 (* 2 3)) 








使 用 def 可 以 定义 常量 





user 


=> (def meaning-of-life 42 


#'user/meaning-of-life 
user 


=> meaning-of-life 





控制 结构 也 可 以 写成 -表达 式 : 


=> (if (< meaning-of-life 6 


) "negative" "non-negative" ) 


"non-negative" 





Clojure 的 大 多 数 语 名 都 是 一 个 s- 表 达 式 ， 然 而 也 有 个 别 例外 。 矢 量 〈 数 
组 ) 字面 量 是 用 方 括 号 表示 的 : 








user 


=> (def droids ["Huey" "Dewey" "Louie"]) 


#'user/droids 
user 


=> (count droids) 


user 


=> (droids @) 


"Huey" 
user 


=> (droids 2) 


"Louie" 








map 字 面 量 是 用 花 括 号 表示 的 : 





user 


=> (def me 


{:name "Paul" :age 45 :sex :male 


}) 


#'user/me 
user 


=> (:age me) 





map 的 键 通常 是 关键 字 (keyword) 4 ， 关 键 字 以 冒号 开头 ， 非 常 类 似 于 
Ruby 中 的 符号 〈symbol) 或 Java 中 的 保留 字符 串 Cinterned string) 。 














4 此 处 关键 字 是 指 Clojure 中 的 数据 类 型 ， 而 并 非 编 程 语言 中 的 for 、while 这 一 类 关键 字 。 
一 一 译 者 注 























使 用 defn 可 以 定义 函数 ， 函 数 参 数 是 矢量 形式 的 : 


=> (defn percentage [x p] (* x (/ p 100.@))) 


#'user/percentage 
user 


=> (percentage 200 10) 





Clojure 旋 风 之 旅 束 此 结束 。 以 后 我 们 还 会 介绍 Clojure 的 其 他 特性 。 


第 一 个 函数 式 程序 


我 们 一 直 说 函数 式 编 程 最 有 趣 的 地 方 是 不 使 用 可 变 状 态 ， 但 一 直 没 有 举 
例 说 明 。 现 在 就 来 补充 一 个 例子 。 


对 一 个 数列 求 和 ， 如 果 使 用 Java 这 种 命令 式 语言 ， 会 写成 下 面 这 样 : 





public int 


sum(int 


[] numbers) { 
int 


accumulator = @; 
for 


n: numbers) 
accumulator += n; 
return 


accumulator; 


} 


这 上 段 代 码 中 accumulator 是 可 变 的 : 在 for 循环 中 每 次 都 会 更 新 值 ， 
oe 函数 式 的 。 相 比 之 下 ， 使 用 Clojure 的 方案 可 以 不 使 用 可 





FunctionalProgramming/Sum/src/sum/core.clj 





(defn 


recursive-sum [numbers ] 
(if 


(empty 


? numbers) 
0 


(+ (first 


numbers) (recursive-sum (rest 


numbers) )))) 








这 是 一 个 递归 的 的 方案 recursive-sum 递归 地 调用 自己 。 如 果 
numbers 为 室 ， 则 返回 0。 和 否则 ， 将 numbers 的 第 一 个 元 素 (first ) 
与 其 他 元 素 Crest) 的 和 相 加 ， 并 返回 结果 。 








这 个 方案 是 可 行 的 ， 但 还 能 做 得 更 好 。 下 面 这 种 方案 更 简单 高 效 : 
FunctionalProgramming/Sum/src/sum/core.clj 


(defn 





reduce-sum [numbers] 
(reduce 


(fn 


[acc x] (+ 


acc x)) © numbers)) 





这 段 代 码 使 用 了 Clojure 的 reduce wav, HA3 SAk fi A 
数 、 一 个 初始 值 和 一 个 集合 。 


代码 中 用 fn 定义 了 一 个 匿名 化 简 函 数 ， 其 接受 两 个 参数 并 返回 参数 的 
和 。 这 个 匿名 化 简 函 数 被 传 给 reduce ，reduce 为 集合 中 的 每 一 个 元 素 
都 调用 一 次 化 简 函 数 一 第 一 次 ， 初 始 值 CA PIO) 和 集合 中 的 第 
一 个 元 素 被 传 给 化 简 函 数 ; 第 二 次 ， 将 第 一 次 调用 的 结果 和 集合 中 的 第 
二 个 元 素 传 给 化 简 函 数 ， 以 此 类 推 。 


先 别 鼓掌 ， 我 们 还 可 以 继续 改进 一 一 + 是 个 现成 的 函数 ， 接 受 两 个 参数 
并 返回 参数 的 和 。 直 接 用 + 来 蔡 换 匿名 化 简 函 数 : 





FunctionalProgramming/Sum/src/sum/core.clj 


sum [numbers | 


(reduce + 





numbers ) ) 


现在 可 以 鼓掌 了 。 我 们 得 到 了 一 个 比 命令 式 编程 更 简单 明了 的 方案 ， 这 
种 体验 可 以 说 是 将 命令 式 方案 转换 成 函数 式 方案 时 的 普遍 感受 。 


小 乔 爱 问 : 
如 果 将 空 集合 传 给 reduce 会 发 生 什么 ? 


sum 函数 的 最 终 版 中 我 们 没有 疝 reduce 传 初 始 值 : 





+ numbers ) 


这 可 能 会 引发 你 的 思考 ， 如 果 癌 reduce 传 入 一 个 空 集合 会 发 生 什 
A? 答案 是 一 切 运 行 正 常 ， 并 且 reduce 会 返回 0: 


=> (sum []) 








那么 ，reduce 如 何 知 道 应 该 返回 0 (而 不 是 其 他 值 ， 比 如 1 或 nil 
) ? 这 涉及 Clojure 中 很 多 操作 符 都 具有 的 一 个 特性 操作 符 知道 
自己 的 特征 值 (identity value〉 是 什么 。 以 + 函数 为 例 ， 其 可 以 接受 
任意 数目 的 参数 ， 包 括 0 个 参数 : 








user 


=> (+ 1 2) 


=> (+1234) 





当 用 0 个 参数 调用 函数 时 ， 函 数 会 返回 加 法 的 特征 值 ， 即 0。 
类 似 地 ，* 返 回 乘法 的 特征 值 ， 即 1。 


user 


=> (*) 


1 


如 果 不 向 reduce 传 初始 值 ， 那 reduce 将 使 用 0 个 参数 来 调用 函 
数 ， 并 用 其 作为 初始 值 。 


顺便 一 提 ， 由 于 + 可 以 接受 若干 个 参数 ， 因 此 我 们 也 可 以 用 app1ly 
来 实现 sum 函数 。apply 可 以 接受 一 个 函数 和 一 个 矢量 ， 调 用 函数 
时 将 这 个 矢量 展开 作为 函数 的 参数 : 


FunctionalProgramming/Sum/src/sum/core.clj 


apply-sum [numbers] 


(apply 





+ numbers) ) 


a 与 使 用 reduce 不 同 ， 使 用 apply 的 代码 不 能 轻易 地 并 行 


轻松 并 行 


我 们 已 经 有 了 一 些 函 数 式 的 代码 ， 那 怎么 让 它 并 行 呢 ?” 需 要 如 何 修 
改 sum 函数 呢 ? 其 实 只 需要 做 非常 小 的 改动 : 








FunctionalProgramming/Sum/src/sum/core.clj 


sum. core 
(:require [clojure.core.reducers :as r])) 


(defn 


parallel-sum [numbers] 
(r/fold + numbers)) 





唯一 的 修改 是 这 段 代 码 用 clojure.core.reducers 包 ( 代 码 中 使 用 其 
缩写 Fr ) 提供 的 fold 函数 蔡 换 了 reduce 。 


下 面 是 REPL 的 一 组 运行 结 末 ， 展 示 了 性 能 的 提升 : 





Sum. core=> 


(def numbers (into [] (range © 10000@@@))) 


#'sum.core/numbers 
sum. core=> 


(time (sum numbers) ) 


"Elapsed time: 1099.154 msecs" 
49999995000000 
sum. core=> 


(time (sum numbers) ) 


"Elapsed time: 125.349 msecs" 
49999995000000 
sum. core=> 


(time (parallel-sum numbers) ) 


"Elapsed time: 236.609 msecs" 
49999995000000 
sum. core=> 


(time (parallel-sum numbers)) 


"Elapsed time: 49.835 msecs" 
49999995000000 





这 段 代 码 先 用 into 函数 将 0 到 10 000 000 之 间 的 数字 添加 到 一 个 空 矢量 
中 ， 以 此 构造 一 个 初始 矢量 。 接 着 使 用 time 来 打印 某 段 代码 的 运行 时 
间 。 由 于 代码 是 运行 在 JVM 中 ， 束 需要 多 次 运行 代码 ， 以 便 预 热 JIT 编 
译 器 ， 这 样 才能 得 到 比较 客观 的 运行 时 间 。 

在 我 的 四 核 的 Mac 上 ， 使 用 fold 让 代码 的 运行 时 间 从 125 ms 降 到 了 50 
ms， 加 速 比 为 2.5。 第 三 天 中 我 们 将 展开 学 习 fold 的 实现 细节 ， 现 在 先 
来 看 看 之 前 Wikipedia 词 频 统计 的 例子 ， 实 现 其 函数 式 版 本 。 
Wikipedia 词 频 统计 的 函数 式 版 本 


我 们 先 来 写 一 个 Wikipedia 词 频 统计 的 串 行 执行 版 本 一 一 明天 再 来 对 它 进 
行 并 行 化 。 程 序 需 要 以 下 三 个 函数 。 


e 函数 1， 接 受 Wikipedia XML dump， 返 回 dump 中 的 页 面 序列 。 

e 函数 2， 接 受 一 个 页 面 ， 返回 页 面 上 的 词 序列 。 

e 国 数 3， 接 受 一 个 词 序列 ， 返 回 含 有 词 频 的 map。 
我 们 不 会 详细 介绍 前 两 个 函数 毕竟 本 书 的 主题 是 并 发 ， 而 不 是 
XML 或 字符 串 处 理 〈 相 关 细 节 请 参见 本 书 的 配套 代码 ) 。 在 此 着 重 讨 
论 如 何 统 计 词 频 ， 因 为 之 后 我 们 还 将 对 这 部 分 进行 并 行 化 处 理 。 
函数 式 map 


要 得 到 一 个 包含 词 频 的 map， 就 需要 理解 Clojure 的 两 个 nap 处 理 函数 
— get 和 assoc : 


user 





























=> (def counts {"apple" 2 "orange" 1}) 


#'user/counts 
user 


=> (get counts "apple" @) 


user 


=> (get counts "banana" 0) 


user 


=> (assoc counts "banana" 1) 


{"banana" 1, "orange" 1, "apple" 2} 
user 


=> (assoc counts "apple" 3) 


{"orange" 1, "apple" 3} 





get 从 map 中 碍 找 键 ， 如 果 找 到 则 返回 对 应 值 ， 人 否则 返回 默认 

值 。assoc 接受 一 个 map 和 一 个 键 值 对 ， 在 原 有 map 的 基础 上 返回 一 个 
包含 指定 键 值 对 的 新 map。 

词 频 统计 函数 


我 们 已 经 准备 好 实现 词 频 统计 函数 了 ， 这 个 函数 接受 一 个 词 序 列 ， 并 返 
回 一 个 map， 这 个 map 的 键 是 词 ， 值 是 该 词 出 现 的 次 数 : 


FunctionalProgramming/WordCount/src/wordcount/word_frequencies 


word-frequencies [words ] 
(reduce 


[counts word] (assoc 


counts word (inc 


counts word @)))) 
{} words)) 





这 上 段 代 码 将 一 个 空 的 map{} 作为 初始 值 传 给 reduce 。 再 对 words 中 的 
每 个 元 素 ， 将 其 现 有 次 数 加 1。 试 用 一 下 : 


(word-frequencies ["one" "potato" "two" "potato" "three" "potato" "four"]) 





{"four" 1, "three" 1, "two" 1, "potato" 3, "one" 1} 


Clojure 标 准 库 已 经 走 在 了 我 们 前 面 


i 函数 ， 该 
函数 能 针对 任何 集合 ， 输 出 集合 中 每 个 元 系 的 出 现 次 数 : 





(frequencies ["one" "potato" "two" "potato" "three" "potato" "four"]) 





{"one" 1, "potato" 3, "two" 1, "three" 1, "four" 1} 


ea FR SMM citi, R a ek eS XML a iw 


插播 一 些 与 序列 相关 的 函数 


今后 的 代码 ， 得 插播 一 些 与 序列 相关 的 机 制 。 首 先 ， 介 绍 映 射 
map : 





user=> 


(map inc [0 1 2 3 4 5]) 


(12345 6) 


user=> 


(map (fn [x] (* 2 x)) [0 1 2 3 4 5]) 


(0246 8 10) 





map 函数 接受 一 个 函数 f 和 一 个 序列 ， 并 返回 一 个 新 序列 ， 对 于 输入 序 
列 中 的 每 个 元 素 都 会 调用 一 次 函数 f ， 并 以 元 素 的 值 作为 f 的 参数 ，f 
的 返回 值 则 成 为 新 序列 的 对 应 元 素 。 


然后 ， 介 绍 partial 函数 ， 利 用 partial 函数 可 以 将 上 面 代码 的 第 二 个 
调用 简化 一 下 。partial 接受 一 个 函数 和 和 若干 参数 ， 返 回 一 个 被 局 部 代 
入 的 函数 ?: 








上 假设 有 一 个 数学 函数 f(a,b,c)，partial(f，1) 返回 的 是 数学 函数 f(1,b,c) 
函数 的 参数 a CAMARA TY. — BAY 








user=> 


(def multiply-by-2 (partial * 2)) 


#'user/multiply-by-2 


user=> 


(multiply-by-2 3) 


user=> 


(map (partial * 2) [6 12 3 4 5]) 


(6246816) 





最 后 ， 假 设 有 一 个 函数 会 返回 一 个 序列 ， 比 如 用 正则 表达 式 将 字符 串 切 
割 成 词 的 序列 : 


(defn get-words [text] (re-seq #"\wt" text)) 


#'user/get-words 
user=> 


(get-words "one two three four") 





("one" "two" "three" "four" ) 


显然 ， 对 一 个 字符 串 序 列 用 get-words 进行 映射 ， 会 得 到 一 个 二 维 序 
列 : 





user=> 


(map get-words ["one two three" "four five six" "seven eight nine"]) 


(("one" "two" "three") ("four" "five" "six") ("seven" "eight" "nine")) 





如 果 需 要 包含 所 有 输出 的 一 维 序 列 ， 则 可 以 使 用 mapcat : 


(mapcat get-words ["one two three" "four five six" "seven eight nine"]) 





("one" "two" "three" "four" "five" "six" "seven" "eight" "nine") 
ERRA, DAE BY DAZ ATES AMET ew BL To 
组 装 


我 们 将 这 个 词 频 统计 函数 命名 为 count-words-sequential ， 它 接受 
一 个 页 面 序列 ， 同 时 返回 含有 对 应 词 频 的 map: 


FunctionalProgramming/W ordCount/src/wordcount/core.clj 


count-words-sequential [pages] 
(frequencies 


(mapcat 


get-words pages) )) 





这 段 代 码 首 先 用 (mapcat get-words pages) 将 页 面 序 列 转化 成 词 序 
列 ， 再 将 词 序列 传 给 frequencies 。 


与 之 前 命令 式 版 本 (参见 2.4 节 中 “一 个 完整 的 程序 ”部 分 ) 相 比 ， 函 数 式 
版 本 的 简洁 优美 义 一 次 得 到 印证 。 


懒惰 一 点 好 


你 可 能 有 一 个 困惑 一 一 Wikipedia dump 的 大 小 将 近 40 GiB。 如 果 count- 
words 将 其 中 的 词 都 存放 到 一 个 序列 中 ， 内 存 应 该 会 不 够 用 。 


实际 情况 并 不 是 这 样 ， 因 为 Clojure 中 序列 是 懒惰 的 〈lazy) 一 一 其 中 的 
元 系 仅 在 需要 时 被 求 值 。 举 例 说 明 : 


range RASEN]: 




















(range © 10 





TET EET cn 
上 面 的 数列 在 REPL 中 会 被 完全 求 值 并 输出 。 
我 并 不 能 阻止 你 对 一 个 超大 范围 进行 求 值 ， 但 这 样 做 ， 你 的 电脑 很 有 可 


能 变 成 一 人 台 高 热 的 暖 风机 。 比 如 下 面 的 这 个 例子 ， 需 要 人 花费 很 长 时 间 才 
会 得 到 输出 (假设 内 存 足 够 用 ) : 


(range © 100000000) 





再 试 试 下 面 的 例子 ， 能 立刻 得 到 输出 : 


(take 10 (range © 100000000) ) 





(0123456789) 


由 于 take 只 需要 数列 的 前 10 个 元 系 ， 因 此 range 只 需要 产生 10 个 元 
素 。 这 个 机 制 适用 于 任意 层次 的 授 套 : 


(take 10 (map (partial * 2) (range © 166666666 1) ) ) 





(9 2 46 8 10 12 14 16 18) 


e 比如 ，iterate 函数 会 不 断 将 菜 个 函数 应 用 到 
初始 值 、 第 一 次 的 返回 值 、 第 二 次 的 返回 值 .…… 来 构成 无 穷 序 列 : 





user=> 


(take 10 (iterate inc @)) 


(0123456789) 
user=> 


(take 10 (iterate (partial + 2) @)) 


(0 246 8 10 12 14 16 18) 


Bri Fe IEM MAARE RAE m CH BB KS m) 才 
生成 序列 的 尾 元 素 ， 还 意味 着 序列 的 头 元 素 在 使 用 后 〈 如 果 不 再 需要 使 
可 以 被 舍弃 。 比 如 ， 下 面 的 例子 需要 运行 一 段 时 间 ， 但 不 会 耗 尽 内 
子 : 








(take-last 5 (range © 100000000) ) 





(99999995 99999996 99999997 99999998 99999999) 





回 到 词 频 统计 ，get-pages 返回 的 页 面 序列 是 懒惰 的 ， 因 此 count- 
words 完全 可 以 处 理 40 GiB 的 Wikipedia dump。 另 外 这 段 代码 很 容易 被 
并 行 化 ， 明 天 将 具体 介绍 。 

BRAG 


第 一 天 的 学 习 结 束 了 。 第 二 天 我 们 会 对 词 频 统计 进行 并 行 化 ， 还 要 深入 
了 解 fold 函数 。 
第 一 天 我 们 学 到 了 什么 
由 于 普遍 使 用 了 共 圣 可 变 状态 ， 用 命令 式 语言 进行 并 发 编程 的 难度 是 比 
较 高 的 。 函 数 式 编程 抛弃 了 共享 可 变 状态 ， 让 并 发 编程 变 得 更 容易 也 更 
安全 。 本 节 中 我 们 学 习 了 以 下 知识 : 

e 用 map 或 mapcat 对 一 个 序列 的 每 个 元 和 素 进 行 映 射 ; 


。 用 序列 的 懒 惰 特性 来 处 理 较 大 的 序列 ， 甚 至 无 穷 序 列 ; 














。 用 reduce 将 序列 化 简 为 一 个 〈 可 能 比较 复杂 的 ) 值 ; 
。 用 fold 对 reduce 进行 并 行 化 。 

第 一 天 自习 

查找 
。 阅读 Clojure 的 cheat sheet， 人 快速 查阅 Clojure 的 常用 函数 。 


。 [lazy-seq 的 相关 文档 ， 使 用 lazy-seq 可 目 建 一 个 懒惰 序 
列 。 


实践 


。 与 许多 函数 式 语 言 不 同 ，Clojure 并 不 支持 尾 调用 消除 Ctail-call 
elimination) ， 因 此 Clojure 代 码 通 党 很 少 使 用 递归 。 重 写 
recursive-sum 函数 《参见 本 节 “ 第 一 个 函数 式 程序 ?部 分 ) ， 
用 loop 和 recur 替换 递归 。 


。 重 写 reduce-sum 函数 (参见 本 节 “ 第 一 个 函数 式 程 序 ” 部 分 ) ， 用 
读 取 器 宏 (reader macro) #() 蔡 换 (fn ...)。 





3.3 第 二 天 : 函数 式 并 行 


今天 先 来 学 习 如 何 将 Wikipedia 词 频 统计 程序 并 行 化 ， 然 后 再 深入 研 
究 fold 函数 的 细节 ， 以 说 明 如 何 用 函数 式 编程 来 实现 并 行 。 


每 次 一 页 


第 一 天 我 们 学 习 了 map 函数 ， 其 将 某 函 数 依 次 应 用 于 输入 序列 的 每 个 元 
素 ， 并 返回 函数 应 用 后 的 新 序列 。 但 这 个 过 程 其 实 没有 必要 串 行 执行 
Clojure 提 供 了 功能 类 似 于 map 的 pmap 函数 ， 其 应 用 函数 的 过 程 是 
可 以 并 行 的 。pmap 在 需要 结果 时 可 以 并 行 计算 ， 但 仅 生 成 所 需要 的 而 
不 是 全 部 的 结果 ， 这 个 特性 称 为 半 懒 惰 〈semi-lazy) 6 。 


























6 David Edgar Liebke 给 出 过 一 个 更 容易 理解 的 描述 :http:Wincanter.org/downloads/fjcj.pdf 。 
译 者 注 


























用 下 面 的 代码 可 以 并 行 地 将 Wikipedia 的 页 序列 转换 成 词 频 map 的 序列 : 


#(frequencies 





(get-words %)) pages) 


上 述 代 码 用 读 取 器 宏 #(. .. ) 来 声明 传 给 pmap 的 函数 ， 读 取 器 宏 可 以 快 
速 创 建 匿名 函数 。 函 数 的 参数 通过 %1 、%2 等 来 标识 ， 如 果 只 有 一 个 参 
数 ， 可 以 通过 % 进行 标识 : 


#(frequencies 





(get-words %) ) 


与 其 等 价 的 代码 为 : 


[page] (frequencies 


(get-words page))) 





来 测试 一 下 : 


wordcount.core=> 


(def pages ["one potato two potato three potato four" 


"five potato six potato seven potato more"]) 


#'wordcount.core/pages 
wordcount. core=> 


(pmap #(frequencies (get-words %)) pages) 


({"one" 1, "potato" 3, "two" 1, "three" 1, "four" 1} 
{"five" 1, "potato" 3, "six" 1, "seven" 1, "more" 1}) 





现在 可 以 将 所 得 的 序列 化 简 成 一 个 map， 从 而 得 到 我 们 需要 的 词 频 总 
数 。 化 简 函 数 将 按照 以 下 规则 合并 两 个 map: 


。 输出 map 的 键 是 两 个 输入 map 的 键 的 并 集 ; 


。 行 东 键 存 在 于 一 个 输入 map 中 ， 那 在 输出 map 中 的 对 应 值 等 于 在 输 
入 map 中 的 对 应 值 ; 


。 行 东 键 存 在 于 两 个 输入 map 中 ， 那 在 输出 map 中 的 对 应 值 等 于 在 输 
入 map 中 的 对 应 值 的 和 。 


如 图 3-1 所 示 。 


| | 
y 


y 
one:1 three: 1 
two:1 four:1 
potato:2 potato: 1 





‘NI one: ra 
two:1 
three:1 
four: 1 
potato:3 





图 3-1 将 Wikipedia 的 两 页 合并 成 一 个 词 频 map 


我 们 可 以 自 建 一 个 化 简 函 数 ， 但 (与 以 往 一 样 ) 标准 库 已 经 提供 了 合适 
的 函数 。API 文 档 如 下 : 


(merge-with f & maps) 





merge-with 将 maps 中 其 余 的 map 合 并 到 第 一 个 map 中 ， 返 回合 并 后 的 


如 果 多 个 map 包 含 同 一 个 键 ， 那 该 键 对 应 的 多 个 值 将 被 〈 从 左 


map 





Ath) 合并 到 结果 map 中 ， 合 并 的 方法 是 调用 (f val-in-result 


val-in-latter) 。 


之 前 我 们 学 习 过 partial 函数 ， 其 返回 一 个 被 局 部 代入 的 函数 ， 所 以 
(partial merge-with +) 可 以 返回 一 个 用 于 合并 map 的 函数 ， 这 个 函 
数 使 用 + 对 同一 个 键 的 多 个 值 进行 合并 : 





(def merge-counts (partial merge-with +)) 


#'user/merge-counts 
user=> 


(merge-counts {:x 1 :y 2} {:y 1 :z 1}) 








将 上 述 要 点 组 装 起 来 ， 就 得 到 了 并 行 版 本 的 词 频 统 计 程 序 : 


FunctionalProgramming/WordCount/src/wordcount/core.clj 





(defn 


count-words-parallel [pages] 
(reduce 


(partial merge-with + 


(pmap 


#(frequencies 


(get-words %)) pages))) 





搞定 ， 现 在 来 测试 一 下 性 能 。 
利用 批 处 理 改善 性 能 


在 我 的 MacBook Pro 上 ， 用 串 行 版 本 的 词 频 统计 程序 处 理 Wikipedia 的 前 
100 000 页 需要 花费 140 秒 。 并 行 版 本 需要 花费 94 秒 ， 加 速 比 是 1.5。 我 们 
己 经 使 用 并 行 得 到 了 提速 ， 但 并 不 理想 。 


与 之 前 在 线程 与 锁 方案 中 分 析 的 原因 类 似 〈 参 见 2.4 节 ) ， 逐 页 地 进行 
计数 和 合并 会 导致 大 量 的 合并 操作 。 如 果 能 对 页 面 进行 批 处 理 ， 将 大 大 
减少 合并 操作 的 次 数 ， 如 图 3-2 所 示 。 





页 面 批 次 2 页 面 批 次 4 
时 间 | | | | 
y y y y 


Lo h-i 


| | | | 
Yy y y y 





计数 结果 中 ---> [计数 结果 
页 面 批 次 3 | 页 面 批 次 4 | 页 面 批 次 5| 页 面 批 次 6 





y y y Yy 
NS 一 一 > 统计 词 频 


> 合并 词 频 





ee ee 


图 3-2 ” 批 处 理 版 本 的 词 频 统计 


举例 说 明 ， 将 100 个 页 面 作 为 一 个 批 次 进行 处 理 ，word-count 的 代码 
修改 如 下 : 


FunctionalProgramming/WordCount/src/wordcount/core.clj 





(defn 


count-words [pages ] 
(reduce 


(partial merge-with + 


(pmap 


count-words-sequential (partition-all 166 pages)))) 





这 里 用 到 了 partition-all 函数 ， 其 可 以 将 一 个 序列 中 的 元 系 分 批 
《或 称 分 区 ) ， 构 成 多 个 序列 : 


=> (partition-all 4 [1234567 89 10]) 





((1 234) (567 8) (9 10)) 





像 之 前 一 样 ， 可 以 用 count -words-sequential 对 每 批 页 面 进行 词 频 
统计 ， 然 后 合并 结果 。 不 出 所 料 ， 这 一 版 本 处 理 Wikipedia 的 前 100 000 
页 需要 花费 44 秒 ， 提 速 3.2 倍 。 


MG til A 


第 一 天 ， 我 们 曾经 用 fold 替换 reduce 并 获得 了 神奇 的 性 能 提升 。 想 要 
理解 fold 的 原理 ， 需 要 先 理解 Clojure 的 reducers Æ. 


化 简 器 (reducer) 描述 了 对 集合 进行 化 简 的 方法 。 普 通 版 本 的 map 接 


SP ABA CH EE SA AP, FRIES AS CH BE ee DH 
的 ) 序列 : 





user=> 


(map (partial * 2) [1 2 3 4]) 


(2468) 


而 clojure.core.reducers 提供 的 map 则 不 同 ， 接 受 相 同 的 参数 ， 但 
返回 的 是 一 个 化 简 器 reducible : 


(require '[clojure.core.reducers :as r]) 


nil 
user=> (r/map (partial * 2) [1 2 3 4]) 


#<reducers$foldergreify__1599 clojure.core.reducers$folder$reify 1599@1519 





reducible 不 能 作为 值 被 直接 使 用 ， 而 是 作为 参数 被 传 给 reduce : 


(reduce conj [] (r/map (partial * 2) [1 2 3 4])) 





上 述 代码 中 ，conj 函数 的 第 一 个 参数 是 一 个 集合 〈 初 始 时 是 空 集合 [] 
) ， 其 将 第 二 个 参数 合并 到 第 一 个 参数 中 。 因 此 这 段 代码 的 结果 与 只 执 
行 map 的 结果 相同 。 


into 函数 内 部 使 用 了 reduce ， 所 以 下 面 这 段 代码 与 上 面 那 段 是 等 价 


的 ; 


(into [] (r/map (partial * 2) [1 2 3 4])) 





clojure.core 提供 的 大 部 分 序列 处 理 函 数 都 有 对 应 的 化 简 器 版 本 ， 包 
括 之 前 见 过 的 map 和 mapcat 。 与 clojure.core 提供 的 函数 类 似 ， 其 
化 简 器 版 本 也 可 以 被 仍 套 使 用 : 


(into [] (r/map (partial + 1) (r/filter even? [1 2 3 4]))) 








Akfar FFA PA BOR I AGAR Me TRS BO E ER SIS 





一 一 被 传 给 reduce Bifold 之 前 ， 化 简 器 不 会 进行 求 值 。 这 样 做 主要 有 
两 个 好 处 : 


。 骨 套 的 函数 返回 化 简 井 比 返回 懒惰 序列 的 效率 更 高 ， 因 为 其 不 用 构 
造 处 于 中 间 状 态 的 序列 ; 


。 对 整个 蒂 套 链 的 集合 操作 ， 可 以 用 fold 进行 并 行 化 。 
Ue fil a A F 


为 了 理解 化 简 器 的 原理 ， 我 们 将 创建 一 个 略微 简单 却 仍然 高 效 的 类 似 于 
clojure.core.reducers 的 库 。 首 先 需 要 理解 Clojure 的 协议 


《Protocol) 。 协议 非常 类 似 于 Java 中 的 接口 一 一 其 是 一 系列 方法 的 集 
， 并 定义 了 一 个 抽象 的 概念 。 Clojure 的 集合 就 是 通过 CollReduce 协 
议 来 支持 化 人 简 操 作 的 : 


(defprotocol 


CollReduce 
(coll-reduce [coll f] [coll f init])) 





CollReduce 声明 了 一 个 函 AL o 这 是 一 个 可 变 参数 
(multiple arities) R% fF), thay 

接受 三 个 参数 (coll. fa ie 第 一 个 参数 类 似 于 Java 中 的 this 
» SC ASPEN (polymorphic dispatch) 。 来 看 看 这 段 Clojure 代 码 : 








(coll-reduce coll f) 





与 这 段 代 人 码 等 价 的 Java 代 码 是 : 


coll.collReduce(f); 





reduce 函数 只 是 简单 地 调用 coll-reduce ， 而 具体 的 任务 执行 则 交 给 
集合 本 身 。 我 们 自己 实现 的 类 似 reduce 函数 中 使 用 了 这 个 特性 : 


FunctionalProgramming/Reducers/src/reducers/core.clj 


(defn 


my-reduce 
([f coll] (coll-reduce coll f)) 
([f init coll] (coll-reduce coll f init))) 


这 段 代 码 还 使 用 了 一 个 之 前 没 学 过 的 defn 特性 一 一 defn 可 以 定义 参数 
E T E 
责 将 参数 转发 给 co11-reduce 。 来 验证 一 下 : 


reducers. core=> 


(my-reduce + [1 2 3 4]) 


10 
reducers. core=> 


(my-reduce + 10 [1 2 3 4]) 





现在 来 实现 一 个 类 似 map 的 函数 : 


FunctionalProgramming/Reducers/src/reducers/core.clj 





(defn 


make-reducer [reducible transformf ] 
(reify 


CollReduce 


(coll-reduce [_ f1] 


(coll-reduce reducible (transformf f1) (1))) 
(coll-reduce [_ f1 init] 


(coll-reduce reducible (transformf f1) init)))) 


(defn 


my-map [mapf reducible] 
(make-reducer reducible 
(fn 


[reducef] 
(fn 


[acc v] 
(reducef acc (mapf v)))))) 





这 段 代 码 定 义 了 make-reducer 函数 ， 其 接受 一 个 化 简 器 reducib1le 和 
一 个 转换 函数 transformf ， 并 返回 一 个 CollReduce 协议 的 实例 。 


用 reify 实现 一 个 协议 ， 类 似 于 在 Java 中 用 new 创建 一 个 接口 的 匿名 实 
例 。 


这 个 CollReduce 协议 的 实例 会 调用 reducible 的 coll-reduce 方 
法 。 其 用 transformf 对 f1 进行 转换 ， 并 用 转换 的 结果 【〈 仍 是 一 个 函 
数 ) 作为 传 给 coll-reduce 方法 的 一 个 参数 。 

小 乔 爱 问 : 

下 划 线 的 作用 ? 

在 Clojure 中 下 划 线 C) 通常 作为 未 被 使 用 的 函数 参数 的 参数 名 。 

之 前 的 代码 可 以 写成 : 


(coll-reduce [this f1] 
(coll-reduce reducible (transformf f1) (#1))) 


但 用 下 划 线 可 以 明确 地 表达 出 this 是 未 被 使 用 的 。 


对 于 传 给 make-reducer 的 转换 函数 transformf ， 其 接受 一 个 函数 作 
~ 并 返回 这 个 函数 被 转换 后 的 版 本 。 以 my-map 中 的 转换 函数 为 
列 : 


[reducef] 


(fn 


[acc v] 
(reducef acc (mapf v)))) 





曾经 介绍 过 ， 在 化 简 过 程 中 ， 为 集合 中 的 每 个 元 素 都 会 调用 一 次 化 简 函 
数 。 化 简 函 数 的 第 一 个 参数 是 之 前 化 简 的 结果 (acc ) ， 第 二 个 参数 是 
集合 中 的 某 个 元 素 。 所 以 ， 在 my-map 中 ， 对 化 简 函 数 reducef 的 第 二 
个 参数 需要 用 mapf (mapf 是 传 给 my-map 的 函数 ) 进行 转换 。 来 验证 
一 下 : 





reducers. core=> 


(into [] (my-map (partial * 2) [1 2 3 4])) 


[2 4 6 8] 


reducers. core=> 


(into [] (my-map (partial + 1) [1 2 3 4])) 


[2345] 


当然 ，my-map ty scene Val AA: 


reducers. core=> 


(into [] (my-map (partial * 2) (my-map (partial + 1) [1 2 3 4]))) 





[4 6 8 10] 





如 果 理 解 了 上 面 的 例子 ， 就 会 发 现 其 只 进行 了 一 次 化 简 ， 化 简 函 数 
是 (partial * 2) 和 (partial + 1) 组 合 后 的 函数 。 


我 们 已 经 学 习 了 化 简 器 是 如 何 提供 化 简 操 作 的 。 接 下 来 将 学 习 折 县 操 
作 fold 是 如 何 让 化 简 操 作 并 行 化 的 。 


分 而 六 这 


较 之 逐个 元 素 地 对 集合 进行 化 简 ，fo1ld 则 使 用 二 分 算法 。 首 先 ，fold 
MERE) 将 集合 分 为 两 组 ， 每 组 继续 分 为 更 小 的 两 组 ， 以 此 类 推 ， 
直到 每 个 分 组 的 规模 小 于 某 个 限制 值 《默认 值 是 512) 。 其 次 ，fold 对 
每 个 分 组 进行 逐个 元 素 地 化 简 。 最 后 ， 对 各 分 组 的 结果 进行 两 两 合并 ， 
直到 剩 下 一 个 最 终 的 结果 。 整 个 过 程 类 似 于 一 个 二 叉 树 ， 如 图 3-3 所 
二; 








VL VL A W7 
E L] 画 | 再 
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e o I] 
= ae ——> 化 简 

osa > 合并 


图 3-3 fold 二 又 树 


因为 fold 〈 利 用 Java 7 的 ForkJoin 框 架 ) 创建 了 一 个 并 行 任 务 的 处 理 
树 ， 化 简 操 作 和 合并 操作 才 得 以 并 行 执 行 。 化 简 操 作 在 树 的 叶子 节点 进 
行 。 下 一 级 节点 等 待 上 一 级 节点 的 化 简 操 作 的 结果 ， 并 将 这 些 结果 进行 
整个 过 程 将 这 样 一 直 进 行 下 去 ， 直 到 树 的 根 节 点 ， 获 得 最 终 的 一 
组 结果 。 


如 果 传 给 fold 的 函数 仅 有 一 个 (之 前 的 例子 中 是 + ) ， 这 个 函数 将 被 
用 于 化 简 操 作 和 合并 操作 。 有 时 也 需要 让 化 简 函 数 与 合并 函数 不 同 ， 以 
后 我 们 会 学 习 到 这 一 反 。 

Xf Hr ae HY SC FF 


AY ABET SIE MM i EC FFCOoL1Reduce 协议 ， 也 需 支 
持 CollFold 协议 : 





(defprotocol 


CollFold 
(coll-fold [coll n combinef reducef])) 





类 似 于 化 简 操 作 被 委托 给 co11-reduce ， 折 县 操作 则 被 委托 给 col1- 
fold: 


FunctionalProgramming/Reducers/src/reducers/core.clj 


my-fold 
([reducef coll] 


(my-fold reducef reducef coll)) 
([combinef reducef coll] 

(my-fold 512 combinef reducef coll)) 
([n combinef reducef coll] 

(coll-fold coll n combinef reducef))) 








当 接 受 两 个 参数 或 三 个 参数 时 ，my-fold 为 combinef 和 n 提供 了 默认 
值 ， 并 调用 自己 。 当 接受 四 个 参数 时 ，my-fold 将 调用 集合 的 co11- 
fold 函数 。 





为 了 让 make-reducer 文 持 折 营 操作 ， 只 需要 让 make-reducer 实现 
CollReduce 的 同时 再 实现 CollFold : 


FunctionalProgramming/Reducers/src/reducers/core.clj 





(defn 


make-reducer [reducible transformf ] 
(reify 


CollFold 
(coll-fold [_ n combinef reducef] 
(coll-fold reducible n combinef (transformf reducef))) 


YYY 


CollReduce 
(coll-reduce [_ f1] 
(coll-reduce reducible (transformf f1) (1))) 


(coll-reduce [_ f1 init] 
(coll-reduce reducible (transformf f1) init)))) 


实现 CollFold 非常 类 似 于 实现 CollReduce 一 一 首先 对 参数 中 的 化 简 
函数 进行 转换 ， 人 然后 将 参数 传 给 reducible 的 col11-fold 。 来 验证 一 
下 : 


reducers. core=> 


(def v (into [] (range 100@@))) 


#'reducers.core/v 
reducers.core=> 


(my-fold + v) 


49995000 
reducers.core=> 


(my-fold + (my-map (partial * 2) v)) 





99990000 
下 面 这 个 例子 使 用 了 不 同 函 数 分 别 进行 化 简 和 合并 。 
FA re SEW te] SA 


回 到 之 前 词 频 统计 的 场景 ， 用 fold 来 实现 frequencies 函数 时 ， 非 常 
适合 使 用 不 同 的 函数 进行 化 简 和 合并 : 





FunctionalProgramming/Reducers/src/reducers/parallel frequencies.c] 


parallel-frequencies [coll] 
(r/fold 
(partial merge-with + 


[counts x] (assoc 


counts x (inc 


counts x @)))) 
coll)) 





这 让 我 们 想起 了 今天 早 些 时 候 学 习 的 批 处 理 版 本 的 count-words 
每 一 批 次 都 化 简 成 map， 然 后 通过 (partial merge-with +) 进行 合 
并 。 


不 过 由 于 fold 不 能 适用 于 懒 情 序 列 〈 因 为 无 法 对 懒惰 序列 进行 二 
ay) ， 因 此 没 办 法 用 Wikipedia 的 页 来 测试 fold 。 但 可 以 用 一 个 很 长 的 
随机 数 友 列 来 进行 模拟 测试 。 


repeatedly 函数 反复 调用 传 入 的 函数 来 构造 一 个 无 穷 的 懒惰 序列 。 本 
例 中 传 入 的 是 rand-int 函数 ， 每 次 调用 rand-int 会 得 到 一 个 随机 整 





user=> 


(take 10 (repeatedly #(rand-int 10))) 


(2628859255) 





用 下 面 的 代码 可 以 构造 一 个 很 长 的 随机 数 序列 : 


reducers. core=> 


(def numbers (into [] (take 10000000 (repeatedly #(rand-int 10))))) 





#'reducers.core/numbers 


现在 分 别 用 frequencies #llparallel-frequencies 对 该 随机 数 序列 
的 整数 频率 进行 统计 : 





reducers. core=> 


(require ['reducers.parallel-frequencies :refer :all]) 


nil 
reducers. core=> 


(time (frequencies numbers) ) 


"Elapsed time: 1500.306 msecs" 
{0 1000983, 1 999528, 2 1000515, 3 1000283, 4 997717, 5 1000101, 6 999993, 
reducers. core=> 


(time (parallel-frequencies numbers) ) 


"Elapsed time: 436.691 msecs" 
{0 1000983, 1 999528, 2 1000515, 3 1000283, 4 997717, 5 1000101, 6 999993, 





可 以 看 到 串 行 执行 的 frequencies 运行 了 1500 ms， 而 并 行 版 本 运行 了 
400+ ms， 提 速 近 3.5 倍 。 


第 二 天 总 结 
我 们 在 第 二 天 中 讨论 了 如 何 用 Clojure 实 现 并 行 。 明 天 将 关注 如 何 用 
future 模 型 和 promise 模 型 实现 并 行 ， 以 及 如 何 利用 它们 进行 数据 流 式 编 


程 (dataflow programming) 。 
第 二 天 我 们 学 到 了 什么 
Clojure 可 以 将 串 行 操作 轻松 目 然 地 并 行 化 。 
e pmap 可 以 将 映射 操作 并 行 化 ， 构 造 一 个 半 懒 惰 的 map。 


。 利 用 partition-all 可 以 对 并 行 的 映射 操作 进行 批 处 理 ， 以 提高 
处 理 效 率 。 


。 fold 使 用 分 而 治之 的 案 略 ， 可 以 将 化 简 操作 并 行 化 。 





e clojure.core.reducers 包 提 供 的 类 似 map 、 类 似 mapcat 、 类 
似 filter 的 函数 返回 的 并 不 是 序列 ， 而 是 化 简 器 reducible ， 可 
以 说 这 是 化 简 操 作 的 关键 所 在 。 


第 二 天 自习 


查找 
。 观看 Rich Hickey 在 QCon 2012 上 介绍 reducers 库 的 视频 。 


e 阅读 pcalls 和 pvalues 的 相关 文档 一 一 这 两 个 函数 与 pmap 有 什么 
区 别 ? 是 否 能 利用 pmap 来 实现 它们 ? 


实践 
e fEmy-map 的 基础 上 创建 my-flatten 和 my-mapcat 函数 。 注 意 : 
它们 都 比 my-map 更 复杂 ， 因 为 需要 将 输入 序列 的 一 个 元 素 对 应 到 
输出 序列 的 一 个 或 多 个 元 了 素 。 巡 到 困难 时 可 以 参见 本 书 配套 代码 。 


。 创建 my-filter 函数 。 它 也 比 my-map 更 复杂 ， 因 为 需要 减少 输入 
序列 的 元 素 个 数 。 


3.4 第 三 天 : 函数 式 并 发 

前 两 天 我 们 一 直 在 关注 并 行 ， 今 天 会 将 注意 力 转向 并 发 。 在 这 之 前 ， 我 
们 将 进一步 探究 为 何 函数 式 编程 能 轻易 地 实现 并 行 化 。 

同样 的 结构 ， 不 同 的 求 值 顺序 


回顾 过 去 两 天 ， 我 们 的 学 习 一 直 围 绕 着 同一 个 主题 一 一 使 用 函数 式 编程 
可 以 玩 转 程序 的 求 值 顺序 。 如 有 果 两 个 计算 过 程 相互 独立 ， 就 可 以 任意 安 
排 这 两 个 计算 过 程 的 求 值 顺 序 ， 包 括 让 它们 并 行 。 


下 面 的 代码 ， 均 进行 相同 的 计算 、 返 回 同样 的 结 末 、 有 共有 相似 的 代码 结 
构 ， 但 它们 以 完全 不 同 的 顺序 进行 求 值 : 














(reduce + (map (partial * 2) (range 1000@))) 





EBS Het] — SRE STRIPS Ae AI PS A 
都 是 按 需 求 值 的 。 


每 个 懒惰 序列 的 元 素 





(reduce + (doall (map (partial * 2) (range 1009090)))) 








这 段 代 码 首 先 构 造 map 的 输出 序列 Cdoall 强迫 懒惰 序列 对 全 部 元 素 进 
行 求 值 ) ， 然 后 再 进行 化 简 。 


(reduce + (pmap (partial * 2) (range 1000@))) 





这 段 代码 化 简 一 个 半 懒 惰 的 序列 ， 这 个 序列 是 并 行 求 值 的 。 


(reduce + (r/map (partial * 2) (range 1000@))) 
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(partial * 2) 组 合 而 成 。 


(r/fold + (r/map (partial * 2) (into [] (range 1000@)))) 





这 上 段 代 码 首先 构造 range 的 输出 序列 ， 然 后 创建 进行 化 简 和 合并 的 处 理 
树 ， 并 根据 此 树 对 序列 进行 并 行 地 化 简 。 





在 Java 这 类 命令 式 语 言 中 ， 求 值 顺 序 与 源码 的 语句 顺序 紧密 相关 。 虽 然 
编译 器 和 运行 时 Cruntime) 都 可 能 造成 一 些 乱 序 执行 (比如 我 们 在 讨论 
线程 与 锁 时 一 直 在 留意 的 乱 序 执行 现象 ， 参 见 2.2 市 中 “诡异 的 内 存 ” 部 
分 ) ， 但 一 般 来 说 ， 求 值 顺序 与 其 在 代码 中 的 顺序 基本 一 致 。 


函数 式 语 言 则 更 有 一 种 声明 式 的 范 儿 。 函 数 式 程序 并 不 是 描述 “如 何 求 
值 以 得 到 结果 ”*”， 而 是 描述 “结果 应 当 是 什么 样 的 "。 因 此 ， 在 函数 式 编 

程 中 ， 如 何 安排 求 值 顺序 来 获得 最 终结 果 是 相对 自由 的 ， 这 正 是 函数 式 
代码 可 以 轻松 并 行 的 关键 所 在 。 


下 一 节 我 们 将 学 习 为 什么 函数 式 编程 可 以 玩 转 求 值 顺 序 ， 而 命令 式 语言 
却 不 具有 这 种 能 力 。 
引用 透明 性 


在 纯粹 的 函数 式 语 言 中 ， 函 数 都 具有 引用 透明 性 一 在 任何 调用 函数 
的 地 方 ， 都 可 以 用 函数 运行 的 结果 来 替换 函数 的 调用 ， 而 不 会 对 程序 产 
副作用 。 来 看 一 些 例子 : 























2 3)) 
它 与 下 面 的 代码 是 等 价 的 : 


(+ 


1 5) 


其 实 ， 描 述 函 数 式 代码 执行 方式 的 一 种 方法 就 是 不 断 用 函数 的 执行 结果 
丛 换 函数 的 调用 ， 直 到 得 到 最 终结 果 。 例 如 按照 下 面 的 方式 来 计算 (+ 
(+ 1 2) (+ 3 4)): 





1 2) (+ 


3 4)) > (+ 


1 2) 7) > (+ 


3 7) > 10 


也 可 以 是 下 面 的 求 值 顺序 : 


3 4)) > (+ 


3 4)) > (+ 








当然 ， 这 个 结论 对 于 Java 的 + 操作 也 适用 。 与 Java 不 同 的 是 ， 函 数 式 编 
程 的 每 个 函数 都 具有 引用 透明 性 。 这 也 是 我 们 能 安全 地 调整 函数 求 值 
顺序 的 关键 所 在 。 

小 乔 爱 问 : 

Clojure 不 是 不 纯粹 吗 ? 


下 一 半 我 们 将 学 习 到 Clojure 是 一 门 不 纯粹 的 函数 式 语言 一 一 在 
n ane 这 样 的 函数 不 具有 引用 透明 








在 实践 中 这 并 不 会 造成 很 大 影响 ， 因 为 第 见 的 Clojure 代 码 极 少 出 现 
副作用 ， 并 且 出 现 副作用 时 会 非常 明显 。 有 一 些 规则 描述 了 副作用 
在 何 处 出 现 是 安全 的 ， 只 要 遵循 这 些 规则 就 不 大 可 能 遭遇 由 求 值 顺 
序 带 来 的 问题 。 


数据 流 


我 们 来 思考 一 下 数据 是 如 何在 函数 间 流 动 的 。 图 3-4 示 意 的 是 (+ (+ 1 
2) (+ 3 4)) 的 数据 流 。 














Oaks 
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图 3-4 (+ (+ 1 2) (+ 3 4)) 的 数据 流 


由 于 (+ 1 2) 和 (+ 3 4) 之 间 没 有 依赖 关系 ， 所 以 理论 上 这 两 步 求 值 能 
包括 同时 执行 。 前 两 步 求 值得 到 结果 后 ， 最 后 一 步 加 
法 才能 进行 。 














理论 上 ， 运 行 时 可 以 从 这 幅 图 的 左 端 出 发 ， 辐 右 端 "推进 ?数据 。 当 某 函 
数 所 依赖 的 数据 都 可 用 时 ， 该 函数 就 可 以 执行 了 了。 所 有 函数 《至少 是 理 
WE) 都 可 以 同时 执行 。 这 种 执行 方式 被 称 为 数据 流 式 编程 (dataflow 
programming) 。Clojure 提 供 了 future 模 型 和 promise 模 型 来 支持 这 种 执行 


Future 模 型 


future 函数 可 以 接受 一 段 代 码 ， 并 在 一 个 单独 的 线程 中 执行 这 有 段 代 
人 码 。 其 返回 一 个 future 对 象 : 


(def sum (future (+ 1 2 3 4 5))) 


#'user/sum 
user=> 





#<core$future_callgreify__6110@5d4ee7d@: 15> 


ones 或 其 简写 @ 对 future 对 象 进行 解 引用 ， 来 获取 其 代表 的 





user=> 


(deref sum) 


@sum 








对 future 对 象 进行 解 引 用 将 阻 豆 当前 线程 ， 直 到 其 代表 的 值 变 得 可 用 
eee ) 。 现 在 我 们 可 以 准确 地 构造 出 图 3-4 所 示 的 数据 流 
了 : 


=> (let [a (future (+ 1 2)) 


b (future (+ 3 4))] 


(+ @a @b)) 





这 段 代 码 首 先 用 let (future (+ 1 2)) 赋 给 a ， 并 将 (future (+ 
3 4)) 赋 给 b 。 对 (+ 1 2) 和 (+ 3 4) 的 求 值 可 以 分 别 在 不 同 线程 中 进 
行 。 最 后 ， 外 层 的 加 法 将 一 直 阻 寨 ， 直 到 内 层 的 加 法 完成 。 


当然 ， 对 于 这 种 两 个 数 求 和 的 简单 计算 ， 使 用 future 模 型 是 大 材 小 用 
一 一 之 后 我 们 还 将 学 习 更 有 现实 意义 的 例子 。 不 过 还 是 先 来 了 解 一 下 








Clojure 的 promise 模 型 。 
Promise 模 型 


类 似 于 future 对 象 ，promise 对 象 也 是 异步 求 值 的 ， 也 通过 defer 或 @ fë 
引用 ， 在 求 值 前 也 会 阻塞 线程 。 不 同 的 是 创建 一 个 promise 对 象 后 ， 使 
用 promise 对 象 的 代码 并 不 会 立刻 执行 ， 而 是 等 到 用 deliver 为 promise 
对 象 赋值 后 才 会 执行 。 下 面 用 一 个 REPL 会 话 来 举例 : 








(def meaning-of-life (promise) ) 


#'user/meaning-of-life 
user=> 


(future (printin "The meaning of life is:" @meaning-of-life) ) 


#<core$future_callfgreify__6110@224e59d9: :pending> 
user=> 


(deliver meaning-of-life 42) 


#<core$promisegreify__6153@52c9f3c7: 42> 
The meaning of life is: 42 





首先 ， 构 造 了 一 个 叫 meaning-of-1ife 的 promise 对 象 。 然 后 ， 
用 future 函数 创建 一 个 线程 来 打印 其 值 〈 像 这 样 利 用 future 函数 创建 
线程 是 Clojure 的 惯例 ) 。 最 后 ， 用 deliver 为 promise 对 象 赋值 ， 之 前 


创建 的 线程 就 不 再 阻 玫 了。 


我 们 已 经 学 习 了 future 模 型 和 promise 模 型 ， 现 在 来 用 它们 创建 一 个 真实 
的 应 用 。 


函数 式 Web 服 务 


我 们 将 创建 一 个 Web 服 务 ， 用 来 接收 实时 的 文本 数据 (例如 ， 一 个 电视 
节目 的 脚本 ) ， 并 进行 翻译 。 文 本 数据 由 片段 (snippet)〉 构 成， 片段 都 
WAF. UKA FRF RE Jabberwocky ( 选 自 《 爱 丽 丝 镜 中 奇 
遇 》 ) 的 第 一 节 为 例 ， 来 说 明 片 段 这 个 概念 : 











0 Twas brillig, and the slithy roves 
1 Did gyre and gimble in the wabe: 
2 All mimsy were the borogoves, 

3 And the mome raths outgrabe. 


如 果 要 将 片段 0 提交 到 Web 服 务 ， 就 要 构造 一 个 发 往 Lsnippet0 的 PUT 请 
求 ， 其 内 容 是 “Twas brillig, and the slithy roves”。 片 段 1 将 被 发 
往 /snippet/1 ， 以 此 类 推 。 


这 是 一 个 非常 简单 的 API， 然 而 实现 起 来 并 不 像 看 上 去 那么 简单 。 首 
先 ， 代 码 是 运行 在 一 个 并 发 的 Web 服务 器 上 的 ， 这 束 要 求 代码 是 线程 安 
全 的 。 其 次 ， 由 于 网 络 的 特性 ， 代 人 码 需 要 处 理 一 些 特殊 情况 ， 例 如 厂 段 
FR. Hid, BR Gere MAL per. 


如 果 需 要 按 序号 处 理 片 段 〈 即 片段 的 处 理 与 片段 到 达 服 务 器 的 时 间 先 后 
TR) ， 就 必须 要 记录 哪些 片段 已 经 被 接收 、 哪 些 片 段 已 经 被 处 理 。 当 
接收 到 新 的 片段 时 ， 需 要 检查 是 否 可 以 继续 处 理 片 段 。 这 个 任务 并 不 容 
易 ， 值 得 我 们 秀一 下 如 何 用 并 发 来 构造 一 个 简单 的 解决 方案 。 


图 3-5 展 示 了 解决 方案 。 











PUT /snippet/3 一 一 > 
处 理 片段 1 


处 理 片 段 2 
处 理 片 段 3 
处 理 片段 4 (等 待 ) 


PUT /snippet/5———> 





图 3-5 文本 数据 处 理 流程 

图 3-5 的 左 端 是 web 服 务 器 创建 的 线程 ， 用 来 处 理 输入 请 求 ， 右 端 是 串 
行 处 理 片段 的 线程 ， 正 在 等 待 下 一 个 可 用 片段 。 下 一 市 将 讨论 
snippets 结构 ， 其 将 被 用 于 线程 之 间 的 交互 。 

接收 片段 

我 们 用 下 面 的 结构 来 记录 已 经 被 接收 的 片段 : 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


Snippets (repeatedly promise 





snippets 是 一 个 由 promise 对 象 构 成 的 无 穷 懒惰 序列 。 当 某 个 片段 可 用 
时 ， 调 用 accept-snippet 来 为 对 应 的 promise 对 象 赋值 : 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(defn 


accept-snippet [n text] 
(deliver 


(nth 


snippets n) text)) 





要 串 行 地 处 理 户 段 ， 只 需 创 建 一 个 线程 ， 按 序号 对 每 个 promise 对 象 进 
行 解 引用 即 可 。 例 如 ， 下 面 的 代码 可 以 串 行 输出 每 个 片段 的 值 : 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(future 


[snippet (map deref 


snippets) ] 
(printin 


snippet) ) ) 





doseq 会 串 行 处 理 一 个 序列 。 本 例 中 ，doseq 处 理 的 序列 是 由 解 引 用 后 
的 promise 对 象 构成 的 ，snippet 指向 正在 处 理 的 元 素 。 


剩 下 的 工作 束 是 将 所 有 这 些 组 装 成 一 个 Web 服务 。 下 面 的 代码 利用 了 
Compojure 库 ” : 





https://github.com/weavejester/compojure 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 
(defroutes app-routes 


(PUT "/snippet/:n 


”[n :as {:keys [body]}] 
(accept-snippet (edn/read-string n) (slurp 


body) ) 


(response "OK 


-main [& args] 
(run-jetty (site app-routes) {:port 3000})) 





这 段 代 码 定 义 了 一 个 PUT 路 由 ， 其 将 调用 accept-snippet 函数 。 我 们 
使 用 了 内 置 的 web 服务器 Jetty8 与 大 多 数 Web 服 务 器 类 似 ，Jetty 是 多 
线程 的 ， 因 此 要 求 代 码 是 线程 安全 的 。 





http://www.eclipse.org/jetty/ 


现在 可 以 用 lein run 启动 该 服务 器 ， 并 通过 curl 命令 做 一 些 验证 。 比 
如 发 送 片段 0: 





curl -X put -d "Twas brillig, and the slithy toves" \ 


-H "Content-Type: text/plain" localhost :3000/snippet/® 





服务 器 马上 输出 : 


Twas brillig, and the slithy toves 





OUR TE BOS BAZ ARR R2, MARARA EAP Hh: 


curl -X put -d "All mimsy were the borogoves," \ 


-H "Content-Type: text/plain" localhost :3000/snippet/2 





REREH E: 





curl -X put -d "Did gyre and gimble in the wabe:" \ 


-H "Content-Type: text/plain" localhost :3000/snippet/1 





现在 片段 1 和 片段 2 都 会 被 输出 : 


Did gyre and gimble in the wabe: 
All mimsy were the borogoves, 





多 次 发 送 同一 个 片段 是 没有 问题 的 ， 因 为 当 promise 对 象 已 经 被 赋值 
后 ， 再 次 调用 deliver 将 不 会 触发 任何 动作 。 所 以 下 面 的 命令 不 会 融 来 
任何 问题 ， 也 不 会 有 任何 输出 : 


curl -X put -d "Did gyre and gimble in the wabe:" \ 


-H "Content-Type: text/plain" localhost :3000/snippet/1 





至此， 我 们 已 经 学 习 了 如 何 处 理 片 段 ， 下 面 将 做 一 些 更 有 趣 的 答 试 。 设 
想 有 另外 一 个 用 于 翻译 文本 的 Web 服 务 ， 来 修改 一 下 代码 ， 使 用 新 的 





Web 服 务 进行 文本 翻译 。 

句子 

在 学 习 如 何 调 用 翻译 服务 之 前 ， 要 先 将 片段 的 序列 转换 成 句子 的 序列 。 
句子 的 分 阳 符 可 能 出 现在 片段 的 任意 位 置 ， 所 以 需要 对 片段 进行 分 割 或 
合并 ， 以 解析 出 句子 。 


首先 ， 按 照 句 子 的 分 隔 符 进 行 分 割 : 





FunctionalProgramming/TranscriptHandler2/src/server/sentences.clj 


sentence-split [text] 
(map 


trim (re-seq 


HU TAN IN? 5 J4[\. N22 5 ]*" text))) 





re-seq 接受 一 个 正则 表达 式 来 匹配 句子 ， 并 返回 匹配 的 序列 。 可 以 
用 trim 删除 不 必要 的 空格 : 


server.core=> 


(sentence-split "This is a sentence. Is this?! A fragment") 


("This is a sentence." "Is this?!" "A fragment") 








接 下 来 ， 使 用 一 个 正则 表达 式 的 技巧 以 判断 茶 字 符 串 是 不 


gm 


句子 : 


FunctionalProgramming/TranscriptHandler2/src/server/sentences.clj 


is-sentence? [text] 
(re-matches 


#"^.*[\.!I\?:;]$" text)) 


server.core 


=> (is-sentence? "This is a sentence.") 


"This is a sentence." 
server.core 


=> (is-sentence? "A sentence doesn't end with a comma,") 





最 后 ， 将 这 些 知识 点 组 装 在 一 起 ， 创 建 strings->sentences MA. 1% 
函数 接受 一 个 字符 串 序列 ， 并 返回 一 个 句子 序列 : 


FunctionalProgramming/TranscriptHandler2/src/server/sentences.clj 


(defn 


sentence-join [x y] 
(if 


(is-sentence? x) y (str 


strings->sentences [strings] 
(filter 


is-sentence? 
(reductions 


sentence-join 
(mapcat 


sentence-split strings) ))) 





这 里 用 到 了 reductions 函数 。 顾 名 思 义 ，reductions 函数 与 reduce 
而 是 返回 由 每 一 步骤 的 中 间 值 构 
成 的 序列 : 











server.core=> 


(reduce + [1 2 3 4]) 


10 


server.core=> 


(reductions + [1 2 3 4]) 


(1 3 6 10) 





在 此 使 用 了 sentence-join 作为 化 简 函 数 。 如 果 第 一 个 参数 是 个 完整 
oe 就 返回 第 二 个 参数 ， 否 则 ， 就 返回 将 两 个 参数 用 空格 〉 连 接 
结果 : 


server.core=> 


(sentence-join "A complete sentence." "Start of another") 
"Start of another" 
server.core=> 


(sentence-join "This is" "a sentence." 


"This is a sentence." 





与 reductions 合用 时 : 





server.core=> 


(def fragments ["A" "sentence." "And another." "Last" "sentence."]) 


#'server.core/fragments 
server.core=> 


(reductions sentence-join fragments) 


("A" "A sentence." "And another." "Last" "Last sentence.") 





用 is-sentense? 过 滤 结 果 : 


server.core=> 


(filter is-sentence? (reductions sentence-join fragments) ) 





("A sentence." "And another." “Last sentence. ") 

XFER SAP Pa, ME R HAR a VER IRS tt To 
翻译 句子 

使 用 future 模 型 的 一 个 典型 场景 是 与 其 他 服务 器 之 间 的 通信 。future 模 型 
允许 主线 程 运行 时 ， 将 访问 网 络 之 类 的 操作 放 在 另 一 个 线程 上 进行 。 下 


面 是 translate 图 数 ， 其 返回 一 个 future 对 象 ， 对 这 个 future 对 象 求 值 将 
获得 函数 参数 翻译 后 的 结 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 





(def 


translator "“http://LocaLlhost:30@1/transLate 


(defn 


translate [text] 
(future 


(:body (client/post translator {:body text})))) 





这 段 代 码 用 到 了 cj-http 库 ? 提供 的 函数 client/post ， 来 进行 POST 请 
求 并 获取 返回 。 现 在 可 以 使 用 translate 函数 ， 对 之 前 strings- 
>sentences 的 结果 进行 翻译 ， 其 结果 是 一 个 集合 。 


AN 2H 


9 https://github.com/dakrone/clj-http 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 


translations 
(delay 


translate (strings->sentences (map deref 





snippets) )))) 


XMS delay 函数 ， 其 创建 一 个 懒惰 的 值 _ ”在 被 解 引用 前 不 会 进 
行 求 值 。 


组 装 
下 面 是 文本 翻译 Web 服 务 的 完整 代码 : 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 





Line 1 (def 


Snippets (repeatedly promise 


)) 


translator "“http://LocaLhost:30@1/transLate 


5 (defn 


translate [text] 
- (future 


- (:body (client/post translator {:body text})))) 


- (def 


translations 
10 (delay 


5 (map 


translate (strings->sentences (map deref 


snippets))))) 


- (defn 


accept-snippet [n text] 
- (deliver 


(nth 


snippets n) text)) 
15 
- (defn 


get-translation [n] 
- @(nth 


@translations n)) 


- (defroutes app-routes 
20 (PUT "/snippet/:n" [n :as {:keys [body]}] 
- (accept-snippet (edn/read-string n) (slurp 


body) ) 
- (response "OK" 


)) 
- (GET "/transLlatton/:n 


- (response (get-translation (edn/read-string n))))) 
25 
- (defn 


-main [& args] 
- (run-jetty (wrap-charset (api app-routes)) {:port 3000}) ) 





这 段 代 码 中 添加 了 一 个 GET 入 口 ， 用 来 获取 翻译 的 结果 (第 23 行 ) . 
中 使 用 了 get-translation 函数 〈 第 16 行 ) ， 用 来 访问 trans1lations 
序列 。 





现在 可 以 运行 一 下 我 们 的 成 果 了 。 首 先 启 动 上 面 创建 的 服务 器 ， 然 后 启 

动 本 书 配套 代码 中 的 翻译 服务 器 ， 最 后 运行 TranscriptTest F (W 

ee ， 现 在 你 应 当 能 看 到 诗歌 Jabberwocky 被 逐 句 翻 译 
法 语 : 





lein run 


Il brilgue, les toves lubricilleux Se gyrent en vrillant dans le guave: 
Enmimés sont les gougebosqueux Et le mémerade horsgrave. 

Garde-toi du Jaseroque, mon fils! 

La gueule qui mord; la griffe qui prend! 

Garde-toi de l'oiseau Jube, évite Le frumieux Band-a-prend! 





至 此 我 们 达成 了 目标 一 个 综合 运用 了 懒惰 性 、future 模 型 、promise 
模型 的 完整 的 并 发 Web 服 务 器 。 其 中 没有 使 用 可 变 状态 ， 也 没有 使 用 
锁 。 比 起 用 命令 式 语 言 实现 的 等 价 解决 方案 ， 我 们 的 方案 更 简单 易 恋 。 
小 乔 爱 问 : 
我 们 是 否 一 直 持 有 序列 的 头 元 素 ? 
上 面 的 web 服 务 使 用 了 两 个 懒惰 序列 : snippets 和 translations 
。 程 序 一 直 在 持 有 这 两 个 序列 的 头 元 素 〈 参 见 3.2 节 中 “懒惰 一 点 
o ， 因 此 这 两 个 序列 将 一 直 增 长 。 程 序 也 将 占用 越 来 越 多 
AFF o 


下 一 半 我 们 将 学 习 如 何 用 Clojure 的 引用 类 型 来 解决 这 个 隐患 ， 并 修 
改 Web 服 务 ， 让 其 可 以 处 理 多 个 文本 的 数据 。 


第 三 天 总 结 


我 们 结束 了 第 三 天 的 学 习 。 这 些 天 讨论 了 如 何 用 函数 式 编程 高 效 地 实现 
并 行 和 并 发 。 

第 三 天 我 们 学 到 了 什么 

函数 式 编 程 中 的 函数 具有 引用 透明 性 。 利 用 这 个 特性 可 以 安全 地 对 函数 
的 求 值 顺序 进行 调整 ， 而 不 会 影响 到 程序 的 运行 。 值 得 一 提 的 是 ， 利 用 
这 个 特性 可 以 让 代码 在 其 所 依赖 的 数据 被 准备 好 时 才 可 运行 ， 这 也 称 为 
数据 流 式 编程 (Clojure 提 供 future 模 型 和 promise 模 型 对 其 进行 支持 )。 
我 们 还 通过 一 个 例子 ， 用 数据 流 式 编程 简化 了 Web 服 务 的 实现 。 
B-RKRAA 

查找 


e future 与 future-call 有 什么 区 别 ? 如何 用 其 中 一 个 实现 另 一 
N? 
N? 




















。 WER A future RERE EET S E? 如 何 取消 一 个 


future 对 象 ? 
实践 
e 修改 之 前 创建 的 文本 处 理 服务 器 ， 人 处 理发 往 /translation/:n 的 GET 请 
求 时 ， 如 果 和 暂时 还 没有 翻译 结果 ， 就 不 进行 了 蛆 蛙 ， 而 是 返回 状态 码 
409. 


。 用 命令 式 语言 实现 文本 处 理 服 务 嚣 。 其 是 否 与 函数 式 版 本 一 样 简 
洁 ? 如 何 保证 它 不 存在 苋 态 条 件 ? 











35 复习 


许多 人 对 并 行 的 理解 存在 一 个 误区 一 一 认为 并 行 一 定 会 伴随 着 不 确定 
性 ， 如 果 不 串 行 执行 ， 那 么 我 们 就 不 能 依赖 某 一 种 执行 顺序 的 结果 ， 必 
须 时 刻 警 惕 竞 态 条 件 。 


当然 ， 有 一 些 并 发 程序 一 定 会 帝 有 不 确定 性 。 这 对 它们 来 说 是 不 可 避免 
的 一 一 有 一 些 场景 天 生 就 依赖 于 时 序 。 但 这 并 不 意味 着 所 有 的 并 行程 序 
都 有 不 确定 性 。 例 如 ， 对 0 到 10 000 之 间 的 数 求 和 ， 即 使 将 串 行 加 法 改 
为 并 行 加 法 ， 也 不 会 改变 结果 ; 无 论 用 多 少 线程 对 茶 个 Wikipedia dump 
进行 词 频 统 计 ， 其 结果 总 是 相同 的 。 


在 使 用 线程 与 锁 模 型 的 程序 中 ， 大 多 数 潜藏 的 苑 态 条 件 并 不 是 来 自 于 问 
题 本 里 的 不 确定 性 ， 而 是 隐藏 于 解决 方案 的 细 市 中 。 


函数 式 代 码 具有 引用 透明 性 ， 因 此 可 以 随意 改变 其 执行 顺序 ， 而 不 会 对 
最 终结 果 产 生 影响 。 我 们 可 以 顺理成章 地 让 相互 独立 的 函数 并 行 执行 
本 章 的 例子 也 利用 这 个 特性 轻易 地 将 函数 式 代 码 并 行 化 了 。 


小 乔 爱 问 : 
为 什么 没 看 到 单子 (Monad) MÆ% (Monoid) ? 


通常 介绍 函数 式 编 程 时 都 会 对 一 些 数学 概念 进行 曾 述 ， 例 如 单子 、 
ZFFE W (Category theory) 。 我 们 用 了 一 整 章 来 介绍 函数 
式 编程 ， 却 没有 涉及 这 些 概念 。 为 什么 ? 


程序 员 对 编程 语言 的 偏好 很 大 程度 上 取决 于 语言 的 类 型 系统 。 使 用 
Java、Scala 之 类 的 静态 类 型 语言 的 体验 ， 与 使 用 Ruby、Python 之 类 
的 动态 类 型 语言 的 体验 是 完全 不 同 的 。 


静态 类 型 语言 强迫 程序 员 在 早期 必须 选择 正确 的 类 型 。 只 有 付出 这 
样 的 代价 ， 编 译 圳 才能 确保 运行 时 不 发 生 类 型 错误 ， 并 且 类 型 系统 
可 以 优化 执行 效率 。 


动态 类 型 语言 不 强迫 程序 员 在 早期 付出 如 此 代价 ， 但 程序 员 要 承担 
运行 时 发 生 类 型 错误 或 者 运行 效率 较 低 的 风险 。 















































在 函数 式 编 程 的 范畴 也 同样 存在 这 种 分 牙 。 像 Haskell 这 种 静态 类 型 
的 函数 却 语 言 利用 单子 和 么 半 群 等 数学 概念 为 类 型 系统 增加 了 以 下 
能 力 : 明确 限制 了 某 些 函数 和 某 些 值 可 以 使 用 的 位 置 ， 在 保持 函数 
性 的 同时 可 以 检测 代码 的 副作用 。 


在 使 用 Clojure 时 ， 学 习 这 些 数学 概念 对 理解 理论 无 疑 非常 有 帮助 ， 
但 Clojure 使 用 的 不 是 静态 类 型 系统 ， 因 此 介绍 这 些 数学 概念 的 实用 
意义 不 大 。 另 一 方面 ， 由 于 编译 器 不 会 对 相关 的 错误 进行 告警 ， 因 
此 程序 员 必 须 手 工 确认 函数 和 值 的 使 用 场景 是 正确 的 ， 这 无 疑 增加 
了 程序 员 的 负担 。 


优点 


使 用 函数 式 编程 最 大 的 好 处 是 我 们 可 以 确信 程序 是 按照 我 们 预想 的 方式 
运行 的 。 一 旦 上 手 〈 这 可 能 需要 花 些 时 间 ， 如 果 你 对 命令 式 编程 “中 
毒 " 已 深 则 更 是 如 此 〉， 比 起 等 价 的 命令 式 程 序 ， 函 数 式 程序 会 更 简 
单 ， 更 容易 推理 ， 也 更 便于 测试 。 


如 有 果 我 们 写 了 一 个 函数 式 解决 方案 ， 利 用 函数 式 程序 的 引用 歼 明 性 ， 我 
们 可 以 轻松 地 将 程序 并 行 化 ， 或 者 在 一 个 并 发 环境 下 使 用 该 方案 。 由 于 
函数 式 代 码 不 使 用 可 变 状态 ， 大 部 分 存在 于 线程 与 锁 模 型 中 的 并 太 bug 
将 销声匿迹 。 


缺点 

很 多 人 认为 函数 式 代码 比 起 等 价 的 命令 式 代码 效率 较 低 。 对 于 茶 些 场景 
确实 存在 性 能 损失 ， 但 大 部 分 场景 性 能 损失 是 远 低 于 预期 的 。 而 且 用 少 
许 性 能 损失 来 换取 程序 健壮 性 和 扩展 性 的 提升 是 值得 的 。 

其 他 语言 

近期 ，Java 8 添加 了 一 系列 新 特性 ， 使 用 这 些 特性 可 以 更 容易 地 写 出 冰 


数 式 代码 ， 其 中 最 有 名 的 是 lambda 表 达 式 1 和 stream API" . stream API 
支持 聚合 操作 ， 其 类 似 于 Clojure 的 reducer， 可 以 并 行 地 处 理 流 。 














10 http://docs.oracle.com/javase/tutorial/java/javaOO/lambdaexpressions.html 


u http://docs.oracle.com/javase/tutorial/collections/streams/index.html 


所 有 的 函数 式 编程 都 会 介绍 Haskell1 。 本 章 和 之 后 的 章节 介绍 的 所 有 技 
术 在 Haskell 都 可 以 找到 。Simon Marlow 的 教程 是 学 习 Haskell 并 行 编程 
和 并 发 编程 的 绝 佳 选择 。 

12 phttp://haskell.org/ 

13 http://community.haskell.org/~simonmar/par-tutorial.pdf 

结语 

本 章 介 绍 了 函数 式 编程 在 并 发 与 并 行 方 面 的 详 多 优势 ， 然 而 其 优点 还 远 
不 止 于 此 。 可 以 断言 函数 式 编程 在 未 来 会 变 得 更 重要 。 

前 面 已 经 提 到 过 ， 在 可 预见 的 将 来 ， 可 变 状 态 会 一 直 伴 随 在 我 们 左右 。 


Dae a a 
和 支持 。 





第 4 章 Clojure 之 道 一 一 分 离 标 识 
与 状态 


现代 的 混合 动力 客车 同时 拥有 内 燃 机 和 电动 机 的 优点 。 根 据 环境 不 同 ， 
有 时 只 使 用 汽油 ， 有 了 时 只 使 用 电力 ， 有 时 则 同时 使 用 两 者 。 与 之 类 似 ， 
Clojure 也 提供 了 一 种 方法 ， 混 合 了 函数 式 编程 和 可 变 状态 这 种 方法 
平衡 了 两 者 优点 ， 成 为 并 发 编程 的 利器 。 














4.1 混搭 的 力量 


函数 式 编程 对 于 某 些 问题 是 非常 适用 的 ， 但 对 于 某 些 状态 易 变 的 问题 则 
不 然 。 虽 然 函 数 式 编程 可 以 用 来 解决 这 类 问题 ， 但 用 传统 的 思路 处 理会 
更 加 容易 一 些 。 上 一 章 中 介绍 了 Clojure 的 纯 函 数 子 集 ， 而 本 章 中 我 们 将 
偏离 之 前 的 内 容 ， 学 习 如 何 用 Clojure 提 供 的 混搭 技术 来 解决 这 类 问题 。 


第 一 天 ， 我 们 将 讨论 原子 变量 ， 它 是 Clojure 提 供 的 用 于 并 发 的 可 变数 据 
类 型 。 我 们 也 将 学 习 如 何 使 用 原子 变量 和 持久 数据 结构 来 分 离 标 识 与 状 
态 。 第 二 天 ， 学 习 Clojure 的 其 他 可 变数 据 结构 :代理 和 软件 事务 内 存 。 
Ge 
Fl] WE 








42 第 一 天 : 原子 变量 与 持久 数据 结构 


纯粹 的 函数 式 语言 完全 不 支持 可 变量 ! 。 相 比 之 下 ，Clojure 是 不 纯粹 的 

其 为 不 同 的 并 发 场景 提供 了 大 量 的 多 样 的 可 变量 。 通 过 使 用 可 变量 
和 持久 数据 结构 (我 们 稍 后 会 解释 持久 的 意思 ) ， 可 以 避 开 传统 并 发 
程序 中 共享 可 变 状态 带 来 的 诸多 问题 


1 在 此 将 mutable variables/data 译 为 “可 变量 ”， 意 为 这 些 “ 量 ”在 整个 生命 周期 中 其 值 是 可 能 改变 

2 在 数学 领域 中 ， 应 称 其 为 ' 变量 "， 但 “变量 ” 词 在 编程 领域 中 指 的 是 ， 编译 期 结束 后 其 什 
能 改变 的 量 ” SBE SP ARAN 命 周期 中 其 | 直 是 可 能 改变 的 量 " 有 少许 差异 ， 为 避免 混 

将 a 可 变量 量 ”。 同 样 的 差异 也 存在 于 “常量 ” (编译 期 就 能 确定 其 值 不 改变 的 量 ) 

和 “不 变量 ”( 整 个 生命 周期 中 其 值 不 改变 的 量 ) 。 另 外 ， 在 此 将 variable 和 data 统 称 为 量 "， 是 

oT ICSE 不 会 影响 之 后 的 阅读 。 一 一 译 者 注 


在 此 要 特别 强调 不 纯粹 的 函数 式 语言 与 命令 式 语言 的 区 别 。 在 命令 式 语 
言 中 ， 变 量 默 认 都 是 状态 易 变 的 ， 代 码 会 经 常 修改 变量 。 而 在 不 纯粹 的 
函数 式 语言 中 ， 变 量 默 认 是 状态 不 易 变 的 ， 代 码 仅 在 十 分 必要 时 才 修 改 
变量 。 稍 后 我 们 会 学 习 到 : 使 用 Clojure 的 可 变量 ， 可 以 在 保证 安全 性 和 
数据 一 致 性 的 同时 ， 处 理 好 可 变 状态 市 来 的 副作用 。 


今天 我 们 要 学 习 如 何 使 用 可 变量 和 持久 数据 结构 来 分 离 标识 与 状态 。 采 
用 这 些 技术 ， 多 线程 可 以 不 使 用 锁 〈 当 然 也 就 不 会 有 和 死 锁 的 风险 ) 访问 
可 变量 ， 同 时 也 不 会 磁 到 3.2 节 中 介绍 的 风险 《隐藏 可 变 状 态 和 逃逸 可 
变 状 态 ) 。 先 来 看 看 Clojure 提 供 的 最 简单 的 可 变量 类 型 









































































































































原子 变量 


原子 变量 就 是 具有 原子 性 的 变量 ， 非 常 类 似 于 2.3 节 中 介绍 的 原子 变量 
(事实 上 Clojure 的 原子 变量 就 是 在 java.util.concurrent.atomic 的 
基础 上 建立 的 ) 。 下 面 的 例子 用 于 创建 原子 变量 并 获取 其 值 : 




















user=> 


(def my-atom (atom 42)) 


#'user/my-atom 
user=> 


(deref my-atom) 


@my -atom 








使 用 atom 函数 可 以 创建 原子 变量 ， 其 参数 是 原子 变量 的 初始 值 。 通 过 
defer 或 @ 可 以 获得 原子 变量 的 值 。 





使 用 swap! 可 以 更 新 原子 变量 的 值 : 





user=> 


(swap! my-atom inc) 


@my -atom 


swap! 接受 一 个 函数 ， 并 将 原子 变量 的 当前 值 传 给 该 函数 ， 该 函数 的 返 
回 值 将 作为 原子 变量 的 新 值 。 也 可 以 将 额外 的 参数 传 给 函数 ， 例 如 : 





(swap! my-atom + 2) 





传 给 函数 的 第 一 个 参数 是 原子 变量 的 当前 值 ， 如 果 swap! 有 额外 参数 ， 
则 会 依次 传 给 该 函数 。 本 例 中 ， 原 子 变 量 的 新 值 是 (+ 43 2) 。 


一 个 不 太 常 用 的 函数 是 reset! ， 可 以 用 来 重 置 原子 变量 的 值 ， 无 论 原 
子 变 量 是 什么 值 : 





USer=> 


(reset! my-atom @) 


user=> 


@my - atom 


一 | 


原子 变量 可 以 是 任何 类 型 一 一 很 多 Web 应 用 都 是 用 原子 map 来 存储 会 话 
数据 的 ， 例 如 : 








(def session (atom {})) 


#'user/session 
user=> 


(swap! session assoc :username "paul" ) 


{:username "paul"} 
user=> 


(swap! session assoc :session-id 1234) 





{:session-id 1234, :username "paul"} 





我 们 已 经 通过 REPL 了解 了 原子 变量 的 一 些 特性 ， 现 在 来 看 一 个 实际 应 
用 的 例子 。 


具有 可 变 状 态 的 多 线程 Web 服 务 


3.2 节 讨论 了 一 个 假想 的 用 于 管理 比赛 的 Web 服务 。 这 一 节 我 们 会 完整 实 
现 这 个 Web 服 务 ， 并 学 习 如 何 使 用 Clojure 的 持久 数据 结构 来 避免 Java 中 








逃逸 可 变 状 态 的 风险 。 


Clojure/TournamentServer/src/server/core.clj 





Line 1 (def 


players (atom 


())) 


- (defn 


list-players [] 
- (response (json/encode @players))) 
5 
- (defn 


create-player [player-name] 
- (swap 


! players conj 


player-name) 
- (status (response "") 20@1)) 


16 (defroutes app-routes 
- (GET "/players 


" [] (list-players) ) 
- (PUT "/players/:player-name 


” [player-name] (create-player player-name) ) ) 
- (defn 


-main [& args] 
(run-jetty (site app-routes) {:port 3000}) ) 





这 段 代 码 定 义 了 两 个 路 由 一 一 发 往 /players 的 GET 请 求 会 返回 当前 的 
运动 员 列 表 (JSON 格 式 ) ， 发 往 /players/name 的 PUT 请 求 则 会 添加 
一 个 运动 员 。 与 上 一 章 的 Web 服 务 一 样 ， 由 于 使 用 的 Jetty 服 务 占 是 多 线 
程 的 ， 因 此 需要 保证 代码 是 线程 安全 的 。 





在 讨论 这 段 代 码 的 工作 原理 之 前 ， 先 来 直接 感受 一 下 。 可 以 在 命令 行 中 
调用 curl 进行 测试 : 





curl localhost: 3000/players 


curl -X put localhost: 3000/players/john 


curl localhost: 3000/players 


curl -X put localhost: 3000/players/paul 


curl -X put localhost: 3000/players/george 


curl -X put localhost: 3000/players/ringo 


curl localhost: 3000/players 


["ringo", "george", "paul", "john" ] 





现在 来 看 看 core.clj 的 工作 原理 。 原 子 变量 players (第 1 行 ) 被 初始 化 
成 空 列表 () 。 通 过 conj 可 以 添加 新 的 运动 员 (第 7 行 )， 并 返回 HTTP 
状态 201 (表示 已 创建 ) 的 空 响应 。 通 过 @ 获取 players 的 值 ， 并 以 
JSON 形 式 人 返回 运动 员 列 表 (第 4 行 )。 














- 切 看 上 去 很 简单 〈 实 际 上 也 确实 如 此 ) ,但 有 一 件 事 情 困扰 着 我 
们 。1list-players 和 create-player 函数 都 访问 players 一 一 为 什 
么 这 上 段 代 码 不 会 有 之 前 逃逸 可 变 状态 的 问题 ? 如 果 一 个 线程 正在 遍历 
players 并 将 其 转换 为 JSON 格 式 ， 而 为 一 个 线程 同时 间 players 中 添 
加 元 素 ， 那 么 会 发 生 什么 ? 


Clojure 的 数据 结构 是 持久 的 ， 因 此 这 上段 代码 才 是 线程 安全 的 。 
持久 数据 结构 
我 们 这 里 说 的 “持久 ”并 不 是 指 将 数据 持久 化 到 磁盘 或 者 保存 到 数据 库 


中 ， 而 是 指数 据 结 构 被 修改 时 总 是 保留 其 之 前 的 版 本 ， 这 样 可 以 为 代码 
提供 一 致 的 数据 和 视角。 来 用 REPL 看 一 个 简单 的 例子 : 








user=> 


(def mapv1 {:name "paul" :age 45}) 


#'user/mapv1 
user=> 


(def mapv2 (assoc mapv1 :sex :male)) 


#' user/mapv2 


user=> 


mapv1 


{:age 45, :name "paul"} 


user=> 


mapv2 


{:age 45, :name "paul", :sex :male} 





持久 数据 结构 被 修改 时 看 上 去 就 像 创 建 了 一 个 完整 的 副本 。 如 果 持 久 
数据 结构 在 实现 时 也 创建 完整 副本 ， 那 将 非常 低 效 并 且 使 用 限制 很 大 
(可 以 类 比 2.4 节 介绍 过 的 CopyOnWriteArrayList ) . PEKE, F 
久 数 据 结 构 的 实现 选择 了 更 精巧 的 方法 ， 其 中 使 用 了 共享 结构 。 


最 容易 理解 的 持久 数据 结构 就 是 列表 。 来 看 一 个 简单 的 例子 : 














(def listv1 (list 1 2 3)) 


#'user/listv1 
user=> listv1 








图 4-1 展 示 了 上 述 列表 在 内 存 中 的 表现 形式 。 


图 4-1 listvi 在 内 存 中 的 表现 形式 


现在 用 cons 创建 上 述 列表 的 修改 版 ，cons 返回 列表 的 副本 并 在 副本 的 
首 段 上 添加 一 个 元 素 : 


(def listv2 (cons 4 listv1)) 


#'user/listv2 
user=> 


listv2 











新 列表 可 以 完全 共 孚 原 列 表 的 结构 一 一 个 需要 进行 复制 ， 如 图 4-2 所 


ZN o 


4 


图 4-2 listv2 在 内 存 中 的 表现 形式 
再 尝试 创建 男 一 个 改进 版 ， 如 图 4-3 所 示 。 


(def listv3 (cons 5 (rest listv1))) 


#'user/listv3 
user=> 


listv3 





图 4-3 listv3 在 内 存 中 的 表现 形式 
本 例 中 新 列表 仅 共 享 了 原 列 表 的 部 分 结构 ， 但 仍 不 需要 进行 复制 。 
有 些 情 况 下 是 不 能 避免 复制 的 。 有 共同 尾 端的 列表 可 以 共享 结 














果 两 个 列表 具有 不 同 的 尾 端 ， 就 只 能 进行 复制 了 。 举 例 说 明 : 





user=> 


(def listv1 (list 1 2 3 4)) 


#'user/listv1 
user=> 


(def listv2 (take 2 listv1)) 


#'user/listv2 
user=> 


listv2 








图 4-4 展 示 了 其 在 内 存 中 的 形式 。 


图 4-4 共有 不 同 尾 问 的 两 个 列表 在 内存 中 的 表现 形式 


Clojure 的 集合 都 是 持久 的 。 持 和 久 的 vector、map 和 set 在 实现 上 都 比 列 表 
复杂 ， 但 此 处 我 们 仅 需 知道 它们 都 使 用 了 共享 结构 ， 并 且 与 Ruby 和 Java 
中 对 应 的 非 持久 结构 具有 相近 的 性 能 。 


小 乔 爱 问 : 

非 函 数 式 语言 中 数据 结构 可 以 是 持久 的 吗 ? 

在 非 函数 式 语 言 中 是 有 可 能 创建 持久 数据 结构 的 。 我 们 已 经 在 Java 
中 看 到 过 一 个 例子 CCopyOnWriteArrayList ) ， 而 且 Clojure 的 


核心 数据 结构 大 部 分 都 是 由 Java 写 成 的 。 而 Java 被 创造 出 来 时 还 不 
存在 Clojure， 所 以 我 们 说 非 函 数 式 语言 是 有 可 能 创建 持久 数据 结构 





的 。 


话 虽 如 此 ， 用 非 函 数 式 语言 实现 持久 数据 结构 是 比较 困难 的 一 一 很 
难保 证 其 正确 性 和 效率 一 一 主要 是 因为 此 类 编程 语言 不 能 为 你 提供 
任何 辅助 ， 完 全 要 依靠 目 己 实现 持久 化 。 


相 比 之 下 ， 函 数 式 的 数据 结构 天 生 就 是 持久 的 。 
标识 与 状态 


如 有 果 一 个 线程 引用 了 持久 数据 结构 ， 那 么 其 他 线程 对 数据 结构 的 修改 对 
该 线程 就 是 不 可 见 的 。 因 此 持久 数据 结构 对 并 发 编程 的 意义 非 比 寻 常 ， 
其 分 离 了 标识 〈identity) 与 状态 (state) 。 


你 的 汽车 有 多 少 油 ? 现在 这 一 刻 可 能 有 一 半 油 。 一 段 时 间 以 后 油箱 可 能 
几乎 空 了 ， 再 过 几 分 钟 〈 当 你 加 完 油 后 ) 油箱 就 满 了 。 “你 的 汽车 有 多 
少 油 ” 是 一 个 标识 ， 其 状态 是 一 直 在 改变 的 ， 也 就 是 说 ， 实 际 上 它 是 一 
系列 不 同 的 值 2012-02-23 12:03， 值 是 0.53; 2012-02-23 14:30， 值 是 
0.12; 2012-02-23 14:31， 值 是 1.00。 


命令 式 语言 中 ， 一 个 变量 混合 了 标识 与 状态 一 一 一 个 标识 只 能 拥有 一 
个 值 ， 这 让 我 们 很 容易 忽略 一 个 事实 : 状态 实际 上 是 随时 间 变 化 的 一 系 
列 值 。 持 久 数 据 结构 将 标识 与 状态 分 离开 来 一 一 如 末 获 取 了 一 个 标识 的 
无 论 将 来 对 这 个 标识 怎样 修改 ， 获 取 的 那个 状态 将 不 再 改 


赫 拉 克利 特 (Heraclitus) 是 这 样 描述 这 个 现象 的 : 
我 们 不 能 两 次 踏 入 同一 条 河流 ， 因 为 水 在 不 停 地 流动 。 
许多 编程 语言 都 错误 地 认为 河流 是 不 变 的 实体 ， 而 Clojure 则 认为 河流 是 
一 直 在 改变 的 。 
重 试 
由 于 Clojure 是 函数 式 语言 ， 其 原子 变量 是 无 锁 的 一 一 其 内 部 实现 使 用 了 


java.util.concurrent.AtomicReference 包 提供 的 


compareAndSet() 方法 。 因 此 使 用 原子 变量 的 效率 很 高 且 不 会 发 生 阻 















































压 《〈 当 然 也 不 会 有 死 锁 的 风险 ) 。 但 这 也 要 求 swap! 必须 处 理 下 面 这 种 
情况 : 当 swap! 调用 其 参数 函数 〈 即 由 参数 传 入 的 函数 ) 产生 新 值 、 但 
还 未 修改 原子 变量 的 值 时 ， 其 他 线程 就 修改 了 原子 变量 的 值 。 


如 果 发 生 了 这 种 情况 ，swap! 就 需要 重 试 (retry) . swap! 将 放弃 从 参 
数 函 数 中 返回 的 值 ， 并 用 原子 变量 的 新 值 重新 调用 参数 函数 。 我 们 在 
2.4 节 中 介绍 ConcurrentHashMap 时 见 过 类 似 的 机 制 。 这 要 求 swap! 的 
参数 函数 必须 没有 副作用 一 一 全 则 ， 在 重 试 时 这 上 旦 副作用 可 能 会 发 生 多 
Wa 
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假设 我 们 需要 一 个 非 负 值 的 原子 变量 。 在 创建 原子 变量 时 可 以 提供 一 个 
校 验 器 (validator) : 





user=> 


(def non-negative (atom © :validator #(>= % @))) 


#'user/non-negative 


user=> 


(reset! non-negative 42) 


(reset! non-negative -1) 


IllegalStateException Invalid reference state 








校 验 器 是 一 个 函数 ， 当 改变 原子 变量 的 值 时 就 会 调用 它 。 如 果 校 验 器 返 
回 true ， 就 允许 这 次 修改 ， 否 则 就 放弃 这 次 修改 。 

校 验 器 在 原子 变量 的 值 改 变 生 效 之 前 被 调用 。 与 本 节 “ 重 试 ” 部 分 中 传 给 
swap! 的 参数 函数 类 似 ， 当 swap! 进行 重 试 时 ， 校 验 器 可 能 会 被 调用 多 
次 。 因 此 校 验 器 不 应 有 副作用 。 

tn Las 

可 以 为 原子 变量 添加 一 个 监视 器 : 








user=> 


(def a (atom @)) 


#'user/a 
user=> 


(add-watch a :print #(println "Changed from " %3 " to " %4)) 


#<Atom@542ab4b1: @> 
user=> 


(swap! a + 2) 


Changed from @ to 2 
2 


添加 监视 器 时 需要 提供 一 个 键 值 和 一 个 监视 函数 。 键 值 用 于 区 分 不 同 的 
监视 器 (例如 ， 有 多 个 监视 器 时 ， 可 以 通过 键 值 来 删除 一 个 指定 的 监视 
at) 。 原 子 变 量 的 值 被 改变 时 会 调用 监视 项 。 监 视 器 接受 四 个 参数 一 一 
调用 add-watch 时 指定 的 键 值 、 原 子 变量 的 引用 、 原 子 变 量 的 旧 值 和 原 
子 变 量 的 新 值 。 


上 例 中 再 次 使 用 了 读 取 器 宏 #(. . . ) 来 定义 匿名 函数 ， 该 函数 用 于 打印 
原子 变量 的 旧 值 (%3) 和 新 值 (%4 ) 。 


与 校 验 器 不 同 ， 监 视 器 是 在 原子 变量 的 值 改变 之 后 才 补 调用， 且 无 论 
swap! 重 试 多 少 次 ， 监 视 器 只 会 被 调用 一 次 。 因 此 ， 监 视 器 可 以 具有 副 
作用 。 注 意 : 监视 器 被 调用 时 ， 原 子 变量 的 值 可 能 已 经 再 次 被 改变 ， 
此 监视 器 必须 使 用 参数 中 提供 的 新 值 ， 而 不 能 通过 对 原子 变量 进行 解 引 
用 来 获取 新 值 。 

混搭 式 Web 服 务 

在 3.4 节 中 ， 我 们 用 Clojure 创 建 了 纯粹 函数 式 的 Web 服 务 。 尽 管 它 运行 民 
好 ， 却 存在 两 个 明显 的 限制 一 一 仪 能 处 理 一 个 文本 数据 ， 并 且 会 持续 消 


和 
Io 


会 话 管理 


我 们 将 引入 会 话 Csession) 这 个 概念 ， 使 Web 服务 支持 多 个 文本 数据 。 
每 个 会 话 拥 有 一 个 唯一 的 数字 标识 ， 通 过 下 面 的 代码 可 生成 这 个 标识 : 

















Clojure/TranscriptHandler/src/server/session.clj 





(def 


last-session-id (atom 


9)) 
(defn 


next-session-id [ ] 
(swap! last-session-id inc)) 





这 里 会 用 到 原子 变量 last-session-id ， 创 建新 会 话 标识 时 会 将 原子 
变量 的 值 递 增 。 每 次 调用 next-session-id 都 会 得 到 比 之 前 大 1 的 一 个 
值 : 








server.core=> 


(in-ns 'server.session) 


#<Namespace server.session> 
server.session=> 


(next-session-id) 


1 
server.sesston=> 


(next-session-id) 


2 
server.sesston=> 


(next-session-id) 





还 用 到 了 原子 变量 sessions ， 它 是 将 会 话 标识 映射 到 会 话 的 map， 利 





用 sessions 可 以 追踪 当前 活跃 的 会 话 。 





(def 


sessions (atom 


{})) 


(defn 


new-session [initial] 
(let 


[session-id (next-session-id) ] 
(swap! 


sessions assoc 


session-id initial) 
session-id)) 


(defn 


get-session [id] 
(@sessions id)) 


通过 调用 new-session 并 传 入 一 个 初始 值 ， 可 以 创建 一 个 新 的 会 

话 。new-session 将 获取 一 个 新 的 会 话 标识 ， 并 调用 swap! 将 会 话 添 
加 到 sessions 中 。 用 get-session 获取 会 话 的 过 程 就 是 简单 地 用 会 话 
标识 进行 查找 。 


会 话 过 期 


如 果 要 解决 Web 服 务 持 续 消耗 内 存 的 问题 ， 就 需要 一 种 机 制 来 删除 不 再 
使 用 的 会 话 。 虽 然 可 以 显 式 地 进行 删除 〈 比 如 使 用 一 个 delete- 
session 函数 ) ， 但 对 于 一 个 Web 服 务 来 说 ， 不 能 依赖 于 客户 端 清 理 各 
ee 而 是 需要 实现 会 话 过 期 的 机 制 。 先 对 之 前 的 代码 做 一 个 小 改 
ZJ: 





Clojure/TranscriptHandler/src/server/session.clj 





(def 


sessions (atom 


{})) 


> (defn 


now [ ] 
> (System/currentTimeMillis) ) 


(defn 


new-session [initial] 
(let 


[session-id (next-session-id) 
> session (assoc 


initial :last-referenced (atom 


(now) )) ] 


(swap! 


sessions assoc 


session-id session) 
session-id)) 


(defn 


get-session [id] 
(let 


[session (@sessions id) ] 
> (reset! 


(:last-referenced session) (now)) 
session) ) 





新 的 辅助 函数 now 会 返回 当前 时 间 。 用 new-session 创建 新 会 话 时 ， 需 
要 为 会 话 添加 新 属性 :1ast-referenced ， 这 是 含有 当前 时 间 的 原子 变 
量 。 当 调用 get-session 访问 会 话 时 ， 用 reset! 来 更 新 这 个 时 间 惟 。 





现在 每 个 会 话 都 有 :1ast-referenced 属性 。 程 序 会 定期 检查 所 有 的 会 
话 ， 当 某 会 话 超 过 一 定时 间 没 有 被 访问 时 ， 就 可 以 让 该 会 话 过 期 : 


Clojure/TranscriptHandler/src/server/session.clj 


session-expiry-time [] 
(- (now) (* 10 6@ 100@))) 
(defn 


expired? [session] 


(< @(:last-referenced session) (session-expiry-time) ) ) 


(defn 


sweep-sessions [ ] 
(swap! 


sessions #(remove-vals % expired?))) 
(def 


session-sweeper 
(schedule {:min (range 


@ 60 5)} sweep-sessions)) 





fEsession-sweeper 函数 中 ， 使 用 了 Schejulure 库 ” ， 这 段 代 码 让 程序 
每 5 分 钟 调用 一 次 sweep-sessions . sweep-sessions 会 (使 用 Useful 
库 3 提供 的 remove-vals 函数 ) 删除 expired? 为 true 的 会 话 ， 这 些 会 
话 最 后 一 次 被 访问 是 在 session-expiry-time 毫秒 〈 即 10 分 钟 ) 之 


HI o 


2 https://github.com/AdamClements/schejulure 


3 https://github.com/flatland/useful 


组 装 


现在 可 以 将 会 话 这 个 功能 添加 到 之 前 的 web 服务 中 。 首 先 ， 需 要 一 个 创 
建新 会 话 的 函数 : 





Clojure/TranscriptHandler/src/server/core.clj 


create-session [ ] 
(let 


[snippets (repeatedly promise 


translations (delay 


translate 


(strings->sentences (map deref 


snippets) )))] 
(new-session {:snippets snippets :translations translations}))) 





与 上 一 章 相 似 ， 我 们 仍然 使 用 一 个 无 穷 的 懒惰 的 promise 序 列 
(snippets ) 来 表示 接收 到 的 片段 ， 以 及 一 个 map (translations 
) 来 表示 该 序列 到 翻译 结果 的 映射 ， 但 这 次 将 两 个 变量 都 保存 到 了 会 话 


o 


接 下 来 ， 修 改 accept-snippet 和 get-translation 函数 ， 使 其 从 会 
话 中 得 到 :snippets 和 :translations : 


Clojure/TranscriptHandler/src/server/core.clj 


accept-snippet [session n text] 
(deliver 


(:snippets session) n) text)) 


(defn 


get-translation [session n] 
@(nth 





@(:translations session) n)) 
BU» nie Vt HSN eth Ae: 


Clojure/TranscriptHandler/src/server/core.clj 





(defroutes app-routes 
(POST "/session/create" [] 
(response (str 


(create-session) ))) 


(context "/session 


/:sesstion 


-id" [session-id] 
(let 


[session (get-session (edn/read-string session-id)) ] 
(routes 


(PUT "/snippet/:n 


" [n :as {:keys [body]}] 
(accept-snippet session (edn/read-string n) (slurp 


body) ) 
(response "OK 


(GET "/transLation/:n 


" [n] 


(response (get-translation session (edn/read-string n)))))))) 








felt, CASES WRI, HEPER, H HERE 
用 了 可 变 状 态 。 


第 一 天 总 结 


我 们 结束 了 第 一 天 的 学 习 。 第 二 天 将 学 习 男 一 些 可 变数 据 类 型 一 一 代理 
(agent) 和 引用 Cref) - 


第 一 天 我 们 学 到 了 什么 


Clojure 是 一 门 不 纯粹 的 函数 式 语言 ， 提 供 了 大 量 的 可 变数 据 类 型 。 我 们 
己 经 学 习 了 其 中 最 简单 的 一 种 一 一 原子 变量 。 
。 命令 式 语言 和 不 纯粹 的 函数 式 语言 的 区 别 是 今天 的 一 个 重点 。 
o 命令 式 语言 中 ， 变 量 默认 是 状态 易 变 的 ， 代 码 会 经 常 修 改变 
a 
o 不 纯粹 的 函数 式 语言 中 ， 变 量 默认 是 状态 不 易 变 的 ， 代 码 仅 在 
必要 时 修改 变量 。 
。 函数 式 语言 中 ， 数 据 结 构 是 持久 的 ， 也 就 是 说 当 一 个 线程 修改 它 
时 ， 将 不 会 影响 到 引用 同一 个 数据 结构 的 其 他 线程 。 


ZS IBZ 








。 借助 上 述 特 性 ， 我 们 可 以 分 离 标识 与 状态 。 与 标识 不 同 ， 状 态 实 际 
上 是 一 系列 随时 间 变 化 的 值 。 


第 一 天 目 习 


查找 


e 阅读 Karl Krukow 的 博文 “Understanding Clojure's PersistentVector 
Implementation”， 了 解 比 链表 更 复杂 的 持久 数据 结构 是 如 何 实现 


的 。 


。 阅读 上 一 篇 博文 的 后 续 文 章 ， 了 解 PersistentHashMap 是 如 何 通 
过 Hash Array Mapped Trie 技 术 来 实现 的 。 


实践 
e 扩展 本 节 开 头 的 例子 TournamentServer ， 使 其 可 以 添加 和 删除 运 
动员 。 


。 扩展 “混搭 式 Web 服 务 ” 中 的 例子 TranscriptServer ， 当 一 个 片段 
花费 10 余 秒 仍 未 接收 完 时 ， 让 服务 堪 能 从 这 个 状态 中 恢复 过 来 。 








4.3 BR: 代理 和 软件 事务 内 和 存 


我 们 昨天 学 习 了 原子 变量 ， 今 天 来 学 习 其 他 两 种 可 变数 据 类 型 : 代理 
Cagent) 和 引用 (ref) 。 与 原子 变量 性 质 相 同 ， 代 理 和 引用 都 可 以 用 
于 并 及 ， 也 能 与 持久 数据 结构 一 起 使 用 ， 实 现 标识 与 状态 的 分 离 。 在 学 
习 引 用 时 ， 我 们 将 讨论 Clojure 如 何 实现 对 软件 事务 内 存 的 支持 ， 使 变量 
在 无 锁 的 情况 下 可 以 被 并 行 地 修改 ， 同 时 仍 保持 一 致 性 。 


代理 


REAR, KE 包 合 了 对 一 个 值 的 引用 ， 可 以 通过 deref 或 @ 获 
取 该 值 : 











(def my-agent (agent @)) 


#'user/my-agent 
user=> 


@my-agent 





调用 send 函数 可 以 修改 代理 的 值 : 





user=> 


(send my-agent inc) 


#<Agent@2cadd45e: 1> 
user=> 


@my-agent 


user=> 


(send my-agent + 2) 


#<Agent@2cadd45e: 1> 
user=> 


@my-agent 





与 swap! KW, send RZA C DAB INNIS BO) ， 并 用 代 
- 的 当前 值 作为 参数 对 该 函数 进行 调用 ， 函 数 的 返回 值 将 作为 代理 的 新 


send 与 swap! 的 区 别 是 ， 前 者 会 〈 在 代理 的 值 更 新 之 前 ) 立刻 返回 
传 给 send 的 函数 将 在 之 后 的 某 个 时 间 被 调用 。 如 果 多 个 线程 同时 
调用 send ， 传 给 send 的 函数 将 被 串 行 调用 : 同一 时 间 只 会 调用 一 个 。 
也 就 是 说 该 函数 不 会 进行 重 试 ， 并 且 可 以 具有 副作用 。 








小 乔 爱 问 : 
代理 是 actor 吗 ? 


oe eS (将 在 第 5 章 介 绍 ) 非常 相似 。 但 
这 是 一 种 误解 ， 实 际 上 两 者 有 很 大 差异 : 


通过 deref 可 以 获得 代理 的 值 ， 而 actor 没 有 提供 直接 获得 值 的 
方式 ; 


actor 可 以 包含 行为 (behavior) ， 而 代理 则 不 可 以 一 一 对 数据 
HIERNE PRI 数 必 须 由 调用 者 提供 ; 


actor 提 供 了 复杂 的 错误 检测 和 错误 恢复 的 机 制 ， 而 代理 仪 提供 
了 简单 的 错误 报告 机 制 ; 


actor 能 支持 分 布 式 ， 而 代理 则 不 能 
。 使 用 多 个 actor 可 能 会 引发 死 锁 ， 而 使 用 多 个 代理 则 不 会 。 
等 待 代理 的 操作 完成 


之 前 我 们 在 REPL 的 输出 中 看 到 ，send 的 返回 值 是 一 个 代理 的 引用 。 
REPL 打 印 这 个 引用 时 ， 也 打印 了 代理 的 值 一 一 本 例 中 是 1: 


(send my-agent inc) 





#<Agent@2cadd45e: 1> 





再 次 调用 send 时 ， 其 显示 的 不 是 3， 而 仍然 是 1 


user=> 


(send my-agent + 2) 


#<Agent@2cadd45e: 1> 





这 是 因为 传 给 send 的 函数 是 异步 运行 的 ， 在 REPL 获 得 代理 的 值 之 前 ， 

该 函数 可 能 已 经 运行 ， 也 可 能 没有 运行 。 对 于 执行 比较 快 的 函数 ， 在 

REPL 获 得 代理 的 值 之 前 可 能 已 经 运行 了 ; 但 如 果 我 们 用 Thread/sleep 
Ae le 运行 时 间 ， 那 函数 就 不 大 可 能 在 REPL 获 取代 理 的 值 之 前 

完成 运行 











user=> 


(def my-agent (agent @)) 


#'user/my-agent 
user=> 


(send my-agent #((Thread/sleep 2000) (inc %))) 
#<Agent@224e59d9: @> 


user=> 


@my-agent 


user=> 


@my-agent 


1 


Clojurefe Ht Y await 函数 ， 这 个 函数 将 一 直 阻 塞 ， 直 到 由 当前 线程 派 给 
某 个 《或 某 些 ) 代理 的 所 有 操作 全 部 完成 〈Clojure 还 提供 了 await-for 
函数 ， 可 以 指定 等 待 的 超时 时 间 ) : 








user=> 


(def my-agent (agent @)) 


#' user/my-agent 
user=> 


(send my-agent #((Thread/sleep 2000) (inc %))) 


#<Agent@7f5ff9de: @> 
user=> 


(await my-agent) 


nil 
user=> 


@my-agent 


小 乔 爱 问 : 
Send-Off 和 Send-Via 


除了 send ， 代 理 还 支持 send-off 和 send-via 函数 。 不 同 的 是 如 
何 执行 传 入 的 函数 ，send 使 用 公用 线程 池 ，send-off 使 用 一 个 新 
线程 ， 而 send-via 使 用 由 参数 指定 的 executor。 


如 果 传 入 的 函数 可 能 会 阻塞 〈 并 占用 其 执行 线程 ) 或 需要 执行 很 
久 ， 推 荐 使 用 send-off 或 send-via 。 除 此 之 外 ， 三 个 函数 差别 
不 大 。 
异步 更 新 比 同步 更 新 有 着 明显 的 优势 ， 尤 其 是 当 更 新 操作 会 发 生 阻 寨 或 
需要 执行 很 久 时 。 但 异步 更 新 也 更 复杂 ， 尤 其 在 错误 处 理 方 面 。 下 面 来 
看 看 Clojure 对 错误 处 理 方面 的 文 持 。 
错误 处 理 


代理 与 原子 变量 一 样 都 支持 校 验 器 和 监视 器 。 下 面 的 例子 中 ， 代 理 使 用 
了 一 个 校 验 需 来 确保 其 值 不 为 负数 : 


(def non-negative (agent 1 :validator (fn [new-val] (>= new-val @)))) 





#'user/non-negative 


递减 代理 的 值 ， 直 到 其 将 变 为 负数 : 


(send non-negative dec) 


#<Agent@6257d812: @> 
user=> 


@non-negative 


(send non-negative dec) 


#<Agent@6257d812: @> 
user=> 


@non-negative 








不 出 所 料 ， 代 理 的 值 不 会 变 为 负数 。 但 如 果 继 续 使 用 这 个 发 生 过 错误 的 
代理 ， 会 怎样 呢 ? 





user=> 


(send non-negative inc) 


IllegalStateException Invalid reference state clojure.lang.ARef.validate... 


user=> 


@non-negative 





一 旦 代理 发 生 错 误 ， 就 会 默认 进入 失效 状态 ， 之 后 对 代理 数据 的 任何 
操作 都 会 失败 。 使 用 agent-error 可 以 查看 一 个 代理 是 否 为 失效 状态 
(也 可 以 查看 其 失效 原因 ) ， 使 用 restart-agent 可 以 重 置 失效 状态 
的 代理 : 





user=> (agent-error non-negative) 


#<IllegalStateException java.lang.IllegalStateException: Invalid reference 
user=> 


(restart-agent non-negative 6) 


user=> 


(agent-error non-negative) 


nil 
user=> 


(send non-negative inc) 


#<Agent@6257d812: 1> 
user=> 


@non-negative 





创建 代理 时 其 错误 处 理 模 式 默 认为 :fail 。 也 可 以 将 错误 处 理 模式 置 
为 :continue ， 这 意味 着 失效 状态 的 代理 不 需要 通过 restart-agent 
重 置 就 可 以 处 理 新 的 操作 。 如 果 设 置 了 错误 处 理 函 数 ， 那 错误 处 理 模 
式 默认 为 :continue ， 代 理 出 现 错误 时 则 会 调用 错误 处 理 函 数 。 


下 面 来 看 一 个 使 用 代理 的 例子 。 
内 存 日 志 系 统 


进行 并 行 编 程 时 ， 我 发 现 内 存 日 志 系 统 是 非常 有 用 的 一 一 传统 日 志 系统 
体 量 过 大 ， 在 处 理 并 发 问题 时 往往 无 所 神 蔓 ， 比 如 对 于 每 行 日 志 都 会 进 
行 多 次 上 下 文 切 换 和 IO 操作 。 用 线程 与 锁 模 型 实现 内 存 日 志 系 统 比 较 复 
杂 ， 而 使 用 代理 来 实现 融 非 常 简 单 : 








Clojure/Logger/src/logger/core.clj 


log-entries (agent 


log [entry] 
(send 


log-entries conj 





[(now) entry])) 


志 被 记录 在 代理 log-entries 中 ， 其 初始 值 是 一 个 空 数 组 。1osg 函数 
辣 数 组 中 添加 新 元 素 ， 新 元 素 是 一 个 二 元 数 二 小 元 于 
是 时 间 惟 “记录 着 send 被 调用 的 时 间 ， 而 不 是 conj 被 代理 调用 的 时 
间 ，conj 调用 的 时 间 可 能 比 send 要 晚 ) ， 第 二 个 元 素 是 日 志 消 息 。 


在 REPL 中 验证 一 下 : 














Logger. core=> 


(log "Something happened") 


#<Agent@bd99597: [[1366822537794 "Something happened" ] ]> 


Logger.core=> 


(log "Something else happened") 


#<Agent@bd99597: [[1366822538932 "Something happened"]]> 
Logger.core=> 


@log-entries 


[ [1366822537794 "Something happened"] [1366822538932 "Something else happen 





下 一 节 我 们 来 学 习 另 一 种 Clojure 的 共享 可 变数 据 类 型 一 引用 ， 
软件 事务 内 存 


引用 (ref〉 比 原子 变量 和 代理 更 复杂 ， 通 过 引用 可 以 实现 软件 事务 内 
存 〈Software Transactional Memory, STM) 。 通 过 原子 变量 和 代理 每 次 
仅 能 修改 一 个 变量 ， 而 通过 STM 可 以 对 多 个 变量 进行 并 发 的 一 致 的 修 
改 ， 就 像 数 据 库 的 事务 可 以 对 多 条 记录 进行 并 发 的 一 致 的 修改 一 样 。 


与 原子 变量 和 代理 类 似 ， 引 用 ef) 包装 了 对 一 个 值 的 引用 
(reference) ， 可 以 通过 deref 或 @ 获取 该 值 。 














user=> 


(def my-ref (ref @)) 


#'user/my-ref 
user=> 


@my -ref 


© 


引用 的 值 可 以 通过 ref-set 来 设置 。Clojure 提 供 了 alter 函数 来 修改 引 
用 的 值 ， 它 类 似 于 之 前 提 到 的 swap! 和 send ， 但 不 同 点 在 于 其 使 用 时 
不 能 只 是 简单 地 被 调用 : 


(ref-set my-ref 42) 


IllegalStateException No transaction running 


user=> 


(alter my-ref inc) 


IllegalStateException No transaction running 





只 能 在 一 个 事务 中 才能 修改 引用 的 值 。 





STM 事务 具有 原子 性 、 一 致 性 和 隔离 性 。 


原子 性 : 在 其 他 的 事务 看 来 ， 当 前 事务 的 所 有 副作用 或 者 全 部 发 生 ， 
或 者 都 不 及 生 。 





一 致 性 ;事务 保证 全 程 遵 守 校 验 器 定义 的 规范 束 像 我 们 在 原子 变量 
和 代理 中 看 到 的 一 样 ) 。 如 果 事 务 的 一 系列 修改 中 任 一 个 校 验 失 败 ， 那 
么 所 有 的 修改 都 不 会 发 生 。 


隔离 性 : 多 个 事务 可 以 同时 运行 ， 但 同时 运行 的 事务 的 结果 与 串 行 运 
行 这 些 事务 的 结果 应 当 完 全 一 样 。 


你 可 能 已 经 看 出 来 了 ， 这 三 个 性 质 是 许多 数据 库 文 持 的 ACID 特性 中 的 
前 三 个 。 唯一 遗漏 的 性 质 是 持久 性 一 一 STM 的 数据 在 电源 故障 或 系统 
骨 尝 时 会 丢失 。 如 果 需 要 用 到 持久 性 ， 葡 必须 使 用 数据 库 。 


使 用 dosync 创建 一 个 事务 : 














user=> 


(dosync (ref-set my-ref 42)) 


@my -ref 


(dosync (alter my-ref inc)) 


@my -ref 
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dosync 包装 的 所 有 元 素 构 成 了 一 个 事务 。 
小 乔 爱 问 : 
这 些 事务 必须 具有 隔离 性 吗 ? 
大 多 数 场景 适合 使 用 完全 隔离 的 事务 ， 但 对 于 有 些 场景 ， 隔 离 性 是 
如 果 用 commute 蔡 换 alter ， 就 可 以 得 到 不 那么 强 


虽然 使 用 commute 是 一 种 有 效 的 优化 手段 ， 但 是 理解 其 适用 场景 是 
比较 复杂 的 ， 因 此 本 书 不 介绍 这 部 分 内 容 。 


BAG 


事务 通 肖 会 涉及 多 个 引用 否则， 应 使 用 原子 变量 或 代理 ) 。 使 用 事务 
的 典型 场景 是 在 不 同 银行 账户 之 间 进 行 转账 一 一 大 家 永远 不 想 看 到 “ 钱 
己 经 从 源 账 尸 中 划 出 、 但 未 能 划 入 目标 账户 ”的 情况 。 下 面 这 个 函数 保 
证 了 出 账 和 入 账 都 发 生 ， 或 者 都 不 发 生 : 














Clojure/Transfer/src/transfer/core.clj 





(defn 


transfer [from to amount] 
(dosync 


(alter 


from - 


amount) 
(alter 


to + 


amount ) ) ) 





对 这 个 函数 进行 验证 : 





user=> 


(def checking (ref 1000)) 


#'user/checking 
user=> 


(def savings (ref 20@Q)) 


#'user/savings 
user=> 


(transfer savings checking 100) 


1100 
user=> 


@checking 


@savings 





如 果 STM 运 行 时 检测 到 几 个 并 发 事务 的 修改 友 生 冲突 ， 那 其 中 的 一 个 或 
儿 个 事务 将 进行 章 试 。 就 像 修改 原子 变量 一 样 ， 事 务 圾 要 保证 没有 副 作 
用 。 


重 试 事务 


条 着 先 做 实验 再 讲理 论 的 精神 ， 我 们 先 对 transfer 函数 进行 压力 测 
试 ， 看 看 是 合 能 找到 事务 被 重 试 的 现象 。 尝 试 以 下 代码 : 


Clojure/Transfer/src/transfer/core.clj 





(def 


attempts (atom 


0)) 
(def 


transfers (agent 


0)) 


(defn 


transfer [from to amount] 


(dosync 


> (swap! 


attempts inc 








) // 在 事务 内 产生 


> (send 


transfers inc 


(alter 


from - 


HJH 








一 产品 代码 中 永远 不 要 这 样 写 111 








amount) 
(alter 


amount ) ) ) 





这 段 代 码 故 意 打 人 破 “ 傈 止 副作用 ”的 规则 ， 在 事务 中 修改 原子 变量 来 产 
ute 。 我 们 是 为 了 做 事务 重 现 的 实验 才 这 样 做 ， 永 远 不 要 在 产品 代码 
这 样 写 。 








除了 在 原子 变量 中 维护 了 计数 器 ， 我 们 还 在 代理 中 维护 了 计数 器 ， 稍 后 
会 对 这 个 做 法 进行 解释 。 


下 面 这 段 代 码 用 于 对 transfer 函数 进行 压力 测试 : 


Clojure/Transfer/src/transfer/core.clj 





(def 


checking (ref 


10000) ) 
(def 


savings (ref 


20000) ) 


(defn 


stress-thread [from to iterations amount] 
(Thread. #(dotimes 


[_ iterations] (transfer from to amount)))) 


(defn 


-main [& args] 
(printin 


"Before: Checking 


=""@checking " Savings 


=" @savings) 
(let 


[t1 (stress-thread checking savings 100 100) 
t2 (stress-thread savings checking 200 10@) ] 


(.start t1) 
(.start t2) 
(.join t1) 
(.join t2)) 
(await 
transfers) 
(printin 


"Attempts 


: " @attempts) 
(printin 


"Transfers 


: " @transfers) 
(printin 


"After: Checking 


=""@checking " Savings 


=" @savings) ) 
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账 ， 每 次 100 美 金 。 我 运行 时 得 到 以 下 输出 : 


Before: Checking = 10000 Savings = 20000 
Attempts: 638 
Transfers: 300 


After: Checking = 20000 Savings = 10000 








太 好 了 ， 我 们 得 到 了 预期 的 结果 ，STM 运 行 时 确保 并 发 事务 运行 得 到 了 





正确 的 结果 。 其 代价 是 进行 了 多 次 重 试 〈 本 例 中 进行 了 338 次 重 试 ) ， 
而 好 处 是 全 程 没 有 使 用 锁 ， 不 会 有 发 生死 锁 的 风险 。 





当然 ， 这 并 不 是 现实 中 的 情况 一 一 两 个 线程 在 频繁 的 循环 中 访问 同一 个 
引用 ， 在 此 情况 下 会 不 断 发 生 访问 冲突 。 实 际 情况 中 ， 一 个 设计 民 好 的 
系统 的 事务 重 试 次 数 会 少 得 多 。 

事务 的 安全 副作用 


你 也 许 注意 到 尽管 原子 变量 维护 的 计数 不 断 增 大 ， 但 代理 维护 的 计数 却 
与 事务 的 数量 相等 。 其 原因 是 代理 具有 事务 性 。 


如 果 在 事务 中 用 send 来 更 新 一 个 代理 ， 那 send 仪 在 事务 成 功 时 生效 。 
如 末 需 要 在 事务 成 功 时 产生 一 些 副 作用 ， 那 send 将 十 最 佳 选择 。 


小 乔 爱 问 : 
函数 名 末尾 的 感叹 号 是 什么 意思 ? 


人 末尾 有 个 感叹 号 一 一 这 种 命名 规则 在 表达 
Dae 
Clojure 用 一 个 感叹 号 表示 一 个 函数 不 是 事务 安全 的 ， 比 如 swap! 和 


reset! 。 由 于 更 新 代理 的 函数 使 用 的 是 send 而 不 是 send! ， 所 以 
可 以 安全 地 在 事务 中 更 新 代理 。 


Clojure 对 共享 可 变 状态 的 支持 


之 前 已 经 学 习 了 Clojure 文 持 共 译 可 变 状态 的 三 种 机 制 。 每 种 机 制 都 有 各 
目的 适用 场景 。 


原子 变量 可 以 对 一 个 值 进行 同步 更 新 一 一 同步 的 意思 是 更 新 在 swap! ik 
回 时 已 经 完成 。 对 多 个 原子 变量 不 能 进行 一 致 地 更 新 。 


代理 可 以 对 一 个 值 进行 异步 更 新 一 一 异步 的 意思 是 更 新 可 能 在 send ik 
回 后 进行 。 对 多 个 代理 不 能 一 致 更 新 。 


引用 可 以 对 多 个 值 进行 一 致 的 、 同 步 的 更 新 。 


第 二 天 上 总结 





























我 们 完成 了 第 二 天 的 学 习 。 第 三 天 我 们 将 学 习 一 些 使 用 可 变 类 型 的 复杂 
例子 ， 并 学 习 不 同 可 变 类 型 的 适用 场景 。 


第 二 天 我 们 学 到 了 什么 

除了 原子 变量 ，Clojure 还 提供 了 代理 和 引用 。 

。 原子 变量 可 以 对 单一 值 进行 隔离 的 、 同 步 的 更 新 。 
e 代理 可 以 对 单一 值 进行 隔离 的 、 异 步 的 更 新 。 

。 引用 可 以 对 多 个 值 进行 一 致 的 、 同 步 的 更 新 。 
第 二 天 自习 

查找 


。 观看 Rich Hickey 的 演讲 “Persistent Data Structures and Managed 
References: Clojure's Approach to Identity and State”. 





e 观看 Rich Hickey 的 演讲 “Simple Made Easy”. 
实践 


e 改进 4.2 节 的 例子 TournamentServer ， 用 引用 和 事务 来 实现 一 个 
运行 井 字 棋 游戏 的 服务 器 。 

。 用 列表 存储 节点 ， 实 现 一 个 持久 化 的 查询 二 叉 树 。 最 坏 情 况 下 需要 
进行 多 少 次 复制 ? 平均 情况 下 呢 ? 


。 学 习 finger tee， 并 用 它 实现 查询 二 又 树 。 它 对 平均 情况 下 和 最 坏 情 
况 下 的 性 能 有 什么 影响 ? 








44 第 三 天 : RAZY 


我 们 已 经 学 习 了 “Clojure 之 道 ” 涉 及 的 所 有 组 件 。 今 天 将 学 习 一 些 运 用 这 
oe ee 以 及 在 面 对 某 个 并 发 问题 时 应 当选 择 原子 变量 还 是 
选择 STM。 








用 STM 解雇 哲学 家 进餐 问题 


作为 开场 ， 先 来 回顾 一 下 第 2 章 提 到 的 “哲学 家 进餐 问题 "?， 并 用 Clojure 
的 STM 来 解决 这 个 问题 。 该 解决 方案 非常 类 似 于 2.3 节 中 介绍 的 使 用 条 
件 变 量 的 方案 (然而 STM 方 案 会 更 简单 )。 


我 们 使 用 一 个 引用 来 代表 一 个 哲学 家 ， 引 用 的 值 是 否 学 家 的 当前 状态 
(:thinking 或 :eating ) 。 这 些 引 用 保存 在 数组 philosophers 中 。 














Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 


philosophers (into 


[] (repeatedly 


5 #(ref 


:thinking)))) 


每 个 哲学 家 都 有 一 个 对 应 的 线程 : 





Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 





Line 1 (defn 


think [] 
- (Thread/sleep (rand 


10@@) )) 


- (defn 


eat [] 
5 (Thread/sleep (rand 


10@@) )) 


- (defn 


philosopher-thread [n] 
- (Thread. 
- #(let 


[philosopher (philosophers n) 
10 left (philosophers (mod 


(- n 1) 5)) 
- right (philosophers (mod 


(+n 1) 5))] 
- (while 


- (think) 
- (when 


(claim-chopsticks philosopher left right) 
15 (eat) 
- (release-chopsticks philosopher)))))) 


-main [& args] 
- (let 


[threads (map 


philosopher-thread (range 


5))] 
20 (doseq 


[thread threads] (.start thread) ) 
- (doseq 


[thread threads] (.join thread)))) 





与 Java 版 本 的 方案 类 似 ， 每 个 线程 将 无 限 循环 下 去 《第 12 行 ) ， 哲 学 家 
或 者 进行 思考 ， 或 者 尝试 进餐 。 如 果 claim-chopsticks 执行 成 功 〈 第 
14 行 ) ， 控 制 结构 when 会 先 调用 eat 再 调用 release-chopsticks 。 


release-chopsticks 的 实现 非常 简单 : 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 


release-chopsticks [philosopher ] 
(dosync 


(ref-set 





philosopher :thinking) ) ) 


这 段 代 码 仅 简单 地 用 dosync 创建 一 个 事务 ， 并 用 ref-set 将 状态 置 
为 :thinking 。 


akan 


claim-chopsticks 函数 非常 值得 讨论 一 一 先 符 试 一 种 实现 方法 : 





(defn 


claim-chopsticks [philosopher left right] 
(dosync 


(when 


(and 


(= @left :thinking) (= @right :thinking) ) 
(ref-set 


philosopher :eating)))) 


类 似 于 release-chopsticks ， 这 这 段 代码 肖 先 创建 了 一 个 事务 ， 在 这 个 
事务 中 ， 检查 左边 和 右边 的 哲学 家 的 状态 i 

是 :thinking , Wit Href-set 将 当前 哲 5 学 家 的 状态 因为 eating ， 如 
果 条 件 不 满足 ， when 语句 将 返回 nil ， 即 当 匠 学 家 无 法 获得 两 文 筷 子 
并 开始 进餐 时 ，claim-chopsticks 也 将 返回 nil 。 


尝试 运行 这 段 代 码 ， 感觉 是 一 切 运 行 正常 。 但 oe 
邻 的 哲学 家 在 mR, 他 们 共用 了 一 支 筷子 ， 显 然 这 是 个 错误 的 状 
态 。 到 底 发 生 了 什么 ? 


造成 这 个 问题 的 原因 是 我 们 用 @ 访问 了 left 和 right 的 值 。Clojure 的 
STM 会 保证 两 个 事务 不 能 对 同一 个 引用 进行 不 一 致 的 修改 ， 昌 然 这 段 代 
码 并 没有 修改 left = ， 但 却 读 取 了 它们 的 值 。 其 他 事务 是 可 
以 修改 这 些 值 的 ， 这 也 就 造成 了 相 邻 的 哲学 家 同时 进餐 的 4 音 误 状 态 。 
确保 值 不 被 修改 


要 解决 上 面 的 问题 ， 可 以 用 ensure 代替 @ 来 访问 left 和 right : 














Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 





(defn 


claim-chopsticks [philosopher left right] 
(dosync 


(when 


(and 


(= (ensure 


left) :thinking) (= (ensure 


right) :thinking) ) 
(ref-set 


philosopher :eating)))) 








ensure 图 数 确 保 了 其 返回 的 茶 引 用 的 值 不 会 被 其 他 事务 修改 。 与 之 前 
基于 线程 与 锁 的 解决 方案 相 比较 会 发 现 ， 现 在 的 方案 不 仅 非 党 简洁 ， 而 
且 是 无 锁 的 ， 即 没有 死 锁 风险 。 


现在 的 解决 方案 使 用 了 多 个 引用 和 事务 ， 下 一 节 将 介绍 另 一 种 解决 方 
案 ， 其 只 使 用 了 一 个 原子 变量 。 
不 用 STM 解决 哲学 家 进餐 问题 


面 对 哲 学 家 进餐 问题 ， 除 了 基于 STM 的 方案 我 们 还 有 其 他 选择 。 之 前 的 
方案 将 每 个 哲学 家 都 用 一 个 引用 来 代表 ， 并 使 用 事务 来 确保 对 多 个 引用 
WYSE Be BA HN EDL “TR ERR Ae RR 





Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 





(def 


philosophers (atom 


(into 


[] (repeat 


5 :thinking)))) 





原子 变量 的 值 是 一 个 状态 数组 。 举 例 说 明 ， 哲 学 家 0 和 哲学 家 3 正在 进 


i 和 餐 
时 ， 其 状态 数组 是 : 


[:eating :thinking :thinking :eating :thinking] 





然后 ， 要 用 状态 数组 中 的 序号 来 代表 哲学 家 ， 就 要 对 philosopher- 
thread 做 一 点 小 修改 : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 





(defn 


philosopher-thread [philosopher] 


(Thread. 
> #(let 
[left (mod 

(- 


philosopher 1) 5) 
> right (mod 


philosopher 1) 5)] 


(while 


true 
(think) 
(when 


(claim-chopsticks! philosopher left right) 
(eat) 
(release-chopsticks! philosopher)))))) 





之 后 ， 要 实现 release-chopsticks! ， 只 需要 用 swap! 将 状态 数组 的 
相关 元 素 置 为 :thinking : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 


release-chopsticks! [philosopher] 
(swap! 


philosophers assoc 





philosopher :thinking)) 


这 里 用 到 了 assoc ， 之 前 我 们 对 map 用 过 这 个 函数 ， 其 对 数组 的 效果 是 
类 似 的 : 





user=> 


(assoc [:a :a :a :al 2 :b) 


最 后 ， 实 现 最 关键 的 函数 claim-chopsticks! : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 





(defn 


claim-chopsticks! [philosopher left right] 
(swap! 


philosophers 
(fn 


[ps] 
(if 


(and 


(ps left) :thinking) (= 


(ps right) :thinking)) 
(assoc 


ps philosopher :eating) 
ps 


) ) ) 


(@philosophers philosopher) :eating)) 





传 给 swap! 的 匿名 函数 的 参数 是 状态 数组 philosophers 的 当前 值 ， 访 
匿名 函数 对 邻 座 哲学 家 的 状态 进行 检查 。 如 果 邻 座 都 在 思考 ， 就 

用 assoc 将 当前 哲学 家 的 状态 置 为 :eating ， 人 否则 直接 返回 
philosophers 而 不 改变 philosophers 的 值 。 


claim-chopsticks! 的 最 后 一 行 代码 检查 了 philosophers 的 新 值 ， 
目的 是 判断 swap! 是 否 成 功 地 将 当前 哲学 家 的 状态 置 为 :eating 。” 


4 此 处 作者 在 swap! 之 后 调用 了 @philosophers ， 设 想 如 果 在 swap! 之 后 、@philosophers 
之 前 ， 另 一 个 线程 修改 了 当前 哲学 家 的 状态 ， 那 么 claim-chopsticksl 的 返回 值 将 不 正确 。 
所 以 不 推荐 这 样 使 用 ， 而 是 应 将 状态 设置 和 状态 检查 放 在 同一 个 原子 操作 中 。 不 过 ， 此 处 由 于 
当前 哲学 家 状态 仪 能 由 当前 线程 修改 ， 所 以 这 段 代码 是 正确 的 。 译 者 注 




























































































我 们 已 经 学 习 了 两 种 哲学 家 进餐 问题 的 解决 方案 ， 一 种 使 用 STM， 劝 一 
种 则 不 使 用 。 如 何在 两 者 之 间 进 行 选择 呢 ? 








原子 变量 还 是 STM? 





第 二 天 已 介绍 过 ， 原 子 变量 可 以 对 单一 值 进行 更 新 ， 而 引用 可 以 对 多 个 
值 进行 一 致 的 更 新 。 虽 然 两 者 功能 不 同 ， 但 如 本 章 所 述 ， 我 们 能 做 出 一 
个 使 用 STM 并 涉及 多 个 引用 的 解决 方案 ， 也 能 很 容易 将 其 转换 成 一 个 使 
用 单一 原子 变量 的 方案 。 


现在 我 们 面临 一 个 尴 罚 的 局 面 一 一 当 解 决 一 个 涉及 多 个 值 需 一 致 更 新 的 
问题 时 ， 即 可 以 使 用 多 个 引用 并 通过 事务 来 保证 访问 一 致 性 ， 也 可 以 将 
= ee 结构 中 并 用 一 个 原子 变量 管理 这 个 数据 结构 的 访 
问 一 致 性 。 


应 该 如 何 选择 呢 ? 


个 问题 的 答案 很 大 程度 上 因 人 而 异 一 一 两 种 方案 都 正确 ， 所 以 要 选 择 
那个 最 简便 的 。 在 性 能 上 ， 根 据 使 用 场景 的 特点 和 数据 访问 模式 的 不 
肯定 会 有 所 差 寞 ， 所 以 需要 用 压力 测试 进行 性 能 评估 之 后 再 进行 选 

oe 


虽然 STM 带 有 更 多 光臣， 但 有 经 验 的 Clojure 程 序 员 RAE: 由 于 语言 的 函 
数 性 减少 了 对 可 变量 的 使 用 ， 因 此 大 部 分 问题 都 可 以 用 原子 变量 来 解 
决 。 更 简单 的 方案 通常 会 更 有 效 。 


定制 并 发 函数 


使 用 原子 变量 解决 哲学 家 进餐 问题 的 代码 是 可 以 正确 运行 的 ， 
{Aclaim-chopsticks! 的 实现 并 不 优雅 。 如 果 当 前 哲学 家 可 以 获得 两 
边 的 筷子 ， 那 调用 swap! 之 后 的 那 次 检查 是 否 必要 ? 理想 状况 下 ， 仪 需 
要 一 个 类 似 于 swap! 的 函数 ， 其 接受 一 个 参数 作为 判断 条 件 ， 仅 当 判断 
条 件 为 真 时 进行 swap! 操作 。 可 以 将 claim-chopsticks! 写成 这 样 : 


























Clojure/DiningPhilosphersAtom2/src/philosophers/core.clj 


claim-chopsticks! [philosopher left right] 
(swap-when! Philosophers 
#(and 


(%1 left) :thinking) (= (%1 right) :thinking) ) 
assoc 





philosopher :eating) ) 


Clojure 并 没有 提供 我 们 理想 中 的 函数 ， 但 我 们 可 以 自己 写 一 个 : 


Clojure/DiningPhilosphersAtom2/src/philosophers/util.clj 





Line 1 (defn 


swap-when! 
- "If (pred current-value-of-atom) is true, atomically swaps the val 


- of the atom to become (apply f current-vaLlue-of-atom args). Note t 


- both pred and f may be called multiple times and thus should be fr 


5 of side effects. Returns the value that was swapped in if the 


- predicate was true, nil otherwise." 


- [a pred f & args] 
- (loop 


- (let 


[old @a] 
10 (if 


(pred old) 
- (let 


[new (apply 


f old args) ] 
z (if 


(compare-and-set 


! a old new) 
- new 
- (recur 


))) 
15 nil)))) 





这 段 代码 用 到 了 一 些 先前 没 出 现 过 的 语言 特性 。 第 一 个 特性 是 文档 字符 
串 。 文 档 字符 串 是 位 于 defn 和 参数 列表 之 间 的 字符 串 ， 用 于 描述 函数 
的 行为 。 文 档 字符 串 对 任何 函数 都 是 有 益 的 ， 尤 其 是 对 那些 为 了 重用 而 
设计 的 辅助 函数 。 除 了 在 源码 中 但 看 文档 字符 串 ， 也 可 以 从 REPL 中 获 
取 : 








phiLosophers.core=> 


(require '[philosophers.util :refer :al1]) 


nil 
phiLosophers.core=> 


(clojure.repl/doc swap-when! ) 


philosophers.util/swap-when! 

([atom pred f & args]) 
If (pred current-value-of-atom) is true, atomically swaps the value 
of the atom to become (apply f current-value-of-atom args). Note that 
both pred and f may be called multiple times and thus should be free 


of side effects. Returns the value that was swapped in if the 
predicate was true, nil otherwise. 





第 二 个 特性 是 参数 列表 中 的 & 符号 ， 其 说 明了 swap-when! 的 参数 个 数 
是 可 变 的 (非常 类 似 于 Java 中 的 省 略 号 或 Ruby 中 的 星 写 ) 。 通 过 名 
为 args 的 数组 可 以 访问 附加 的 参数 。 这 里 还 用 到 了 apply ， 其 可 以 将 
最 后 一 个 参数 展开 ， 作 为 附加 的 参数 传 给 f (第 11 行 一 一 举例 说 明 ， 
下 面 这 两 种 调用 + 函数 的 方式 是 等 价 的 : 


(apply + 1 2 [3 4 5]) 


(#12345) 





我 们 还 使 用 较 底层 的 compare-and-set! (281247) 来 替换 swap! 





o compare-and-set! 接受 一 个 原子 变量 、 原 子 变量 的 旧 值 和 原子 变量 
的 新 值 一 一 仪 当 原子 变量 的 当前 值 等 于 旧 值 时 ， 原 子 变量 的 值 会 被 更 新 
为 新 值 ， 整 个 比较 和 更 新 的 过 程 都 是 原子 的 。 


“4compare-and-set! 成 功 时 ，swap-when! 返回 原子 变量 的 新 值 。 否 
则 ， 使 用 recur (351447) 回 到 第 8 行 重 新 运行 。 


小 乔 爱 问 : 

什么 是 Loop/Recur? 

与 许多 函数 式 语言 不 同 ，Clojure 不 具备 尾 调用 消除 (tail-call 
elimination) 的 能 力 ， 因 此 Clojure 代 码 不 常 使 用 递归 ， 而 是 
用 loop/recur 。 

loop 宏 定义 了 一 个 锚 点 ，recur 可 以 跳 到 这 个 销 点 〈 类 似 于 


C/C++ 中 的 setjmp() 和 longjmp() ) 。Clojure 语 言 手 册 中 详 述 了 
其 工作 原理 。 


第 三 天 总 结 


人 学 习 ， 讨 论 了 Clojure 如 何 将 函数 式 编 程 与 可 变量 混 
搭 使 用 。 


第 三 天 我 们 学 到 了 什么 


Clojure 的 函数 式 性 质 极 大 地 减少 了 可 变量 的 使 用 。 通 种 情况 下 ， 基 于 原 
子 变量 的 简单 并 发 方案 ” 就 足够 了 : 


”可 以 认为 基于 原子 变量 的 方案 是 基于 代理 的 方案 的 子 集 。 译 者 注 





















































。 基于 STM 的 解决 方案 〈 通 过 事务 来 达成 多 个 值 的 一 致 性 ) 可 以 被 基 
于 代理 的 解决 方案 〈 将 多 个 值 整合 到 一 个 数据 结构 中 ， 并 用 一 个 代 
理 来 管理 对 这 个 数据 结构 的 访问 ) HR; 

© 在 两 种 方案 之 间 的 选择 往往 基于 个 人 风格 和 程序 性 能 ; 


。 定制 并 及 函数 可 以 让 代码 更 简洁 。 


第 三 天 自习 
查找 


。 观看 Rich Hickey 的 演讲 “The Database as a Value”， 注 意 Datomic6 是 
如 何 有 效 地 将 整个 数据 库 视 为 一 个 单一 值 的 。 


6 http://www.datomic.com 
实践 
。 改进 第 二 天 的 实践 部 分 的 TournamentServer ， 用 原子 变量 代替 引 


用 和 事务 ， 哪 一 种 方案 更 简单 哪 一 份 代码 更 易 读 ? 哪 一 种 方案 性 
能 更 好 ? 


4.5 复习 


Clojure 在 解决 并 发 问题 上 非常 务实 。 起 先 我 们 意识 到 并 发 编程 中 最 大 的 
障碍 来 自 于 共享 可 变 状 态 ， 于 是 Clojure 作 为 一 门 函数 式 语言 挺身 而 出 ， 

编写 出 具有 引用 透明 性 且 无 副作用 的 代码 。 之 后 我 们 又 意识 到 一 些 问题 
场景 需要 对 某 些 可 变 状 态 进 行 维护 ， 因 此 Clojure 又 提供 了 很 多 并 发 安 

全 的 可 变数 据 类 型 。 


优点 


很 显然 ， 本 章 *Clojure 之 道 ” 的 优点 建立 在 上 一 章 介绍 的 函数 式 编 程 的 基 
础 上 上。 我们 可 以 用 Clojure“ 函 数 式 地 ”解决 函数 式 的 问题 ， 也 可 以 在 必要 
的 时 候 突破 函数 式 的 禁 铀 。 


传统 命令 式 语言 的 变量 混淆 了 标识 与 状态 这 两 个 概念 ， 而 Clojure 的 持久 
数据 结构 将 可 变量 的 标识 与 状态 分 离开 来 。 这 解决 了 使 用 锁 的 方案 的 大 
部 分 缺点 。 专 家 级 Clojure 程 序 员 知 道 解决 并 发 问题 的 最 佳 选 择 是 那 

个 “刚刚 够 用 ”的 方案 。 


缺点 


“Clojure 之 道 ” 的 主要 缺点 在 于 不 文 持 分 布 式 〈 地 理 分 布 或 其 他 ) 编程 。 
与 之 相关 ， 它 也 无 法 直接 提供 容错 性 。 


由 于 Clojure 在 JVM 中 运行 ， 很 多 第 三 方 库 可 以 为 Clojure 弥 补 这 些 缺 点 
(Akka 就 是 其 中 之 一 ， 它 使 用 了 下 一 章 将 要 介绍 的 actor 模 型 ) ， 不 过 
对 这 些 第 三 方 库 的 介绍 超出 了 本 书 的 范围 。 
































7 http://blog.darevay.com/2011/06/clojure-and-akka-a-match-made-in/ 
其 他 语言 


Haskell 提 供 了 类 似 本 章 介 绍 的 功能 ， 不 过 作为 一 种 纯粹 的 函数 式 语 言 ， 
使 用 起 来 会 有 一 种 不 同 的 “体验 ”。 值 得 一 提 的 是 Haskell 提 供 了 完整 的 
STM 实现 ，Simon Peyton Jones 的 文章 “Beautiful Concurrency”® 对 其 进行 
了 详细 的 解说 。 





http://research.microsoft.com/pubs/74063/beautiful.pdf 


另外 ， 大 部 分 主流 编程 语言 都 提供 了 STM 的 实现 ， 包 括 GCC 文 持 的 编程 
语言 " 。 尽 管 如 此 ， 有 证 据 表明 : STM 模 型 并 不 适合 于 命令 式 语言 。 


3 http://gcc.gnu.org/wiki/TransactionalMemory 


10 http://www.infog.com/news/2010/05/STM-Dropped 


+F. 
结 ta 








Clojure 在 函数 式 编 程 和 可 变 状态 之 间 取 得 了 很 好 的 平衡 ， 比 起 纯粹 的 函 
数 式 语言 ， 这 些 命令 式 语言 的 特性 会 让 程序 员 感 党 更 杀 切 、 更 容易 上 
Fo 


概括 而 言 ，Clojure 精 心 设计 了 用 于 并 发 的 语义 ， 从 而 保留 了 共 孕 可 变 状 
态 。 下 一 章 我 们 将 学 习 actor 模 型 ， 它 完全 抛弃 了 共 孚 可 变 状 态 。 


Ake me o 


335 5 Actor 


使 用 actor 就 像 租车 一 一 我 们 如 果 需 要 ， 可 以 快速 便捷 地 租 到 一 辆 ， 如 宁 
人 
两 名 可 。 


actor 模 型 是 一 种 适用 性 非常 好 的 通用 并 发 编程 模型 。 它 可 以 应 用 于 共享 
内 存 架 构 和 分 布 式 内 存 染 构 ， 适 合 解 决 地 理 分 布 型 的 问题 。 同 时 它 还 
提供 很 好 的 容错 性 。 
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5.1 更 加 面向 对 象 


函数 式 编程 个 使 用 可 变 状态 ， 也 惑 避 免 了 共 且 可 变 状 态 融 来 的 问题 。 相 
比 之 下 ， 使 用 actor 模 型 保留 了 可 变 状 态 ， 只 是 不 进行 共有 至 。 


actor 类 似 于 面 同 对 象 (OO) 编程 中 的 对 象 其 封装 了 状态 ， 并 通过 
消息 与 其 他 actor 通 信 。 两 者 的 区 别 是 所 有 actor 可 以 同时 运行 ， 而 且 ， 与 
OO0 式 的 “消息 传递 ”《〈 实 质 上 只 是 调用 一 个 方法 ) 不 同 ，actor 之 间 的 消 
MIRER KHE 在 传递 消息 。 

actor 模 型 是 一 个 通用 的 并 发 编程 模型 ， 几 乎 可 以 用 在 任何 一 种 编程 语言 
里 ， 最 典型 的 是 Erlangl 。 而 我 们 将 用 Elixir 来 介绍 actor 模 型 ， 它 是 
Erlang 虚 拟 机 (BEAM) 上 相对 较 新 的 一 门 编程 语言 。 

















1 http://www.erlang.org/ 


2 http://elixir-lang.org/ 


与 Clojure 类 似 ，Elixir 是 一 门 不 纯粹 的 、 动 态 类 型 的 函数 式 语 言 。 如 果 
你 熟悉 Java 或 者 Ruby， 很 容易 就 能 看 懂 Elixir 代 码 。 与 以 入 一样， 我 们 
不 会 把 本 章 写 成 Elixir 的 教程 (本 书 的 主 由 是 并 发 ， 而 不 是 编程 语 

言 )》， 但 仍 将 介绍 一 些 必要 的 语言 特性 。 如 果 你 对 这 门 语言 并 不 熟悉 ， 
那 就 不 得 不 在 某 些 地 方 “ 训 目 ? 接 受 本 书 的 说 法 如 果 想 深入 学 习 
Elixir， 推 荐 阅读 Programming Elixir [Tho14]。 


第 一 天 ， 我 们 将 学 习 actor 模 型 的 基础 一 一 如 何 创 建 actor、 发 送 消 恩 和 接 
收 消 恩 。 第 二 天 ， 学 习 使 用 actor 模 型 的 程序 具有 容错 性 的 关键 : 失败 检 
测 和 “ 任 其 骨 尝 ”的 哲学 。 第 三 天 ， 学 习 如 何 通 过 actor 模 型 编写 分 布 式 程 
序 ， 将 计算 扩展 到 多 台 计 算 机 ， 并 能 从 一 台 或 多 台 计 算 机 的 骨 尝 中 恢复 














5.2 第 一 天 : 消息 和 信箱 


现在 我 们 来 学 习 如 何 创 建 和 停止 进程 、 如 何 发 送 和 接收 消息 ， 以 及 如 何 
检测 进程 已 终止 。 


小 乔 爱 问 : 
是 actor 还 是 进程 ? 


RUT Erlang， 在 Elixir 中 ，actor 对 象 被 称 为 进程 。 大 部 分 场景 下 ， 
进程 是 一 个 重量 级 的 概念 ， 它 会 消耗 很 多 资源 ， 且 创建 代价 很 高 。 
不 过 在 Elixir 中 ， 进 程 是 一 个 轻 量 级 的 概念 ， 比 操作 系统 级 的 线程 
还 要 轻 量 : 它 消 耗 更 少 的 资源 ， 且 创建 代价 很 低 。Elixir 程 序 可 以 
EMALEA TAAR, i 通常 不 需要 依赖 线程 池 (参见 2.4 
ie a rae 








第 一 个 actor 


先 来 党 试 创 建 一 个 简单 的 actor， 并 加 其 发 送 一 些 消 息 。 我 们 将 创建 一 个 
叫 Talker 的 actor， 其 收 到 不 同 的 消息 时 会 输出 不 同 的 结果 。 


所 发 送 的 消息 是 一 个 元 组 (tuple) 元 组 是 一 个 由 多 个 值 组 成 的 序 
列 。 在 Elixir 中 ， 用 花 括号 ({}) 表示 元 组 ， 举 例如 下 : 











这 是 个 三 元 组 ， 第 一 个 元 素 是 一 个 关键 字 (与 Clojure 类 似 ， 也 是 用 冒号 
表示 关键 字 ) ， 第 二 个 元 素 是 一 个 字符 串 ， 第 三 个 元 素 是 一 个 整数 。 


来 看 看 actor 的 代码 : 


Actors/hello_actors/hello_actors.exs 





defmodule 


Talker do 


def 


loop do 


receive do 


{:greet, name} -> I0.puts("HelLlo 


#{name 


}") 


{:praise, name} -> 10.puts("#{name 


}, you're amazing 


") 


{:celebrate, name, age} -> IO.puts("Here's to another 


#{age 


} years 


> #{name 


}") 


end 


loop 
end 


end 





我 们 稍 后 会 对 这 段 代 码 进行 深入 分 析 。 现 在 只 需要 知道 这 段 代码 定义 了 
一 个 actor， 其 接受 三 种 不 同 的 消 轧 ， 并 打印 不 同 的 字符 串 。 


下 面 创 建 这 个 actor 的 实例 ， 并 癌 其 发 送 一 些 消 息 : 





Actors/hello_actors/hello_actors.exs 





pid = spawn(&Talker.loop/@) 
send(pid, {:greet, "Huey 


"}) 


send(pid, {:praise, "Dewey 


send(pid, {:celebrate, "Louie 


", 16}) 
sleep(1666) 





首先 ， 这 段 代 码 用 spawn 创建 了 actor 的 实例 ， 并 获得 进程 标识 符 ， 这 
个 进程 标识 符 被 保存 在 pid 中 。 进 程 将 执行 spawn 的 参数 所 指定 的 函 
数 ， 本 例 中 的 函数 是 Talker 模块 中 的 1oop() ， 该 函数 接受 0 个 参数 。 
然后 ， 这 上段 代码 向 刚 创建 的 actor 实 例 发 送 了 三 个 消息 。 


最 后 ，sleep 一 下 ， 让 各 个 进程 有 时 间 处 理 消 轧 (用 sleep() 并 不 是 最 佳 
选择 一 一 稍 后 将 介绍 如 何 改 进 ) 。 


以 下 是 这 段 代码 的 运行 结 





Hello Huey 
Dewey, you're amazing 
Here's to another 16 years, Louie 











我 们 已 经 学 习 了 如 何 创建 actor 并 向 其 发 送 消息 ， 现 在 需要 剖析 一 下 其 中 


的 机 制 。 
队列 式 信箱 


异步 地 发 送 消息 是 用 actor 模 型 编程 的 重要 特性 之 一 。 消 息 并 不 是 直接 发 
送 到 一 个 actor， 而 是 发 送 到 一 个 信箱 (mailbox) ， 如 图 5-1 所 示 。 








信箱 
Celebrate: 
Louie, 16 
HelloActors Talker 
Dewey 


Greet: 
Huey 








图 5-1 HARSH E 


这 样 的 设计 解 稍 J 了 actor 之 间 的 关系 
送 消 妃 时 不 会 被 阻 蜜 。 


虽然 所 有 actor 可 以 同时 运行 ， 但 它们 都 按照 信箱 接收 消息 的 顺序 来 依次 


处 理 消 轧 ， 且 仅 在 当前 消 妃 处 理 完成 后 才 会 处 理 下 一 个 消 轧 ， 因 此 我 们 
只 需要 关 ， 心 发 送 消息 忌 时 的 并 发 问题 即 可 。 


Pef yñ 


通常 actor 会 进行 无 限 循环 ， 通 过 receive 等 待 接收 消息 ， 并 进行 消息 处 
理 。 现 在 来 看 一 下 Talker 的 循环 代码 : 





actor 都 以 自己 的 步调 运行 ， 且 发 














Actors/hello_actors/hello_actors.exs 





loop do 


receive do 


{:greet, name} -> I0.puts("Hello 


#{name 


}") 


{:praise, name} -> 10.puts("#{name 


}, you're amazing 


") 


{:celebrate, name, age} -> IO.puts("Here's to another 


#{age 


} years 


> #{name 


}") 


end 


loop 
end 











该 函数 通过 递归 调用 自己 来 进行 无 限 循环 ， 用 receive 块 来 等 待 一 个 消 


=| 
© 


JO 


通过 匹配 模式 来 决定 如 何 处 理 消 息 。 这 段 代码 依次 用 每 个 模式 对 接 


收 到 的 消息 进行 匹配 一 一 一 旦 匹配 成 功 ， 在 箭头 〈-> ) 右边 的 代码 
中 ， 就 可 以 通过 模式 中 的 变量 Cname 和 age ) 来 访问 消息 中 的 对 应 
值 。 处 理 消 息 的 代码 使 用 字符 串 插 值 技术 来 构造 字符 串 并 输出 T 
符 串 插值 技术 指 的 是 #{ ...} 中 的 代码 将 被 求 值 并 将 求 值 结果 插入 到 字 
符 串 的 对 应 位 置 。 


“第 一 个 actor” 部 分 的 最 后 一 段 代码 在 退出 前 sleep 了 1 秒 ， 这 样 才 有 足够 
的 时 间 处 理 消 息 。 这 个 解雇 方案 不 过 是 差强人意 一 我们 可 以 做 得 更 
好 : 








小 乔 爱 问 : 
不 断 递 归 难 道 不 会 栈 洪 出 吗 ? 
你 也 许 已 经 注意 到 了 Talker 的 loop() 函数 不 断 地 进行 递归 ， 就 会 
担心 堆栈 会 不 断 被 消耗 。 和 幸运 的 是 我 们 并 不 需要 担心 一 iS R 
数 式 语言 一 样 〈 不 过 Clojure 是 个 特例 ， 参 见 4.4 节 的 “小 乔 爱 问 ”) ， 
Elixir 实 现 了 尾 调用 消除 。 尾 调用 消除 指 的 是 如 果 函 数 在 最 后 调用 
了 自己 ， 那 么 递归 调用 将 被 蔡 换 成 一 个 简单 的 跳 转 。 

连接 到 (linking〉 进 程 


为 了 彻底 关闭 一 个 actor， 需 要 满足 两 个 条 件 。 第 个 是 需要 告诉 actor 在 
完成 消息 处 理 后 就 关闭 ;第 二 个 是 需要 知道 actor 何 时 完成 关闭 。 


首先 ， 通 过 接收 一 个 显 式 的 关闭 消息 〈 类 似 于 2.4 节 中 介绍 的 毒 丸 ) 来 
满足 第 一 个 条 件 : 


Actors/hello_actors/hello_actors2.exs 

















defmodule 


Talker do 


def 


loop do 


receive do 


{:greet, name} -> I0.puts("HelLlo 


#{name 


}") 


{:praise, name} -> IO.puts("#{name 


}, you're amazing 


") 


{:celebrate, name, age} -> IO.puts("Here's to another 


#{age 


} years 


> #{name 


}") 


{:shutdown} -> exit 


(:normal) 
end 


loop 
end 


end 





然后 ， 需 要 一 个 方法 来 获知 actor 是 否 完全 关闭 。 下 述 代码 
将 :trap_exit 设 为 true ， 并 用 spawn_ link() 蔡 换 spawn() 以 连接 到 
进程 : 


Actors/hello_actors/hello_actors2.exs 


Process.flag(:trap_exit, true 


) 
pid = spawn_link(&Talker.loop/@) 





现在 当 创 建 的 进程 关闭 时 ， 就 会 得 到 一 个 通知 〈 和 是 一 个 系统 产生 的 消 
M) o 这 个 消息 是 -个 三 元 组 : 





{:EXIT, pid, reason} 








最 后 ， 发 送 关 闭 消息 并 收 到 关闭 通知 : 
Actors/hello_actors/hello_actors2.exs 
send(pid, {:greet, "Huey 


"}) 


send(pid, {:praise, "Dewey 


"}) 


send(pid, {:celebrate, "Louie 


", 16}) 
> send(pid, {:shutdown}) 


> receive do 


> 


{:EXIT, “pid, reason} -> I0.puts("Talker has exited (#{reason}) 





receive 模式 中 使 用 ^ fs CHAAR) 的 第 二 个 元 素 ， 将 不 会 绑 定 到 消 
奶 的 第 二 个 数据 ， 而 是 用 pid 的 当前 值 进行 模式 匹配 。 


运行 这 个 新 版 本 代码 ， 输 出 如 下 : 
Hello Huey 


Dewey, you're amazing 
Here's to another 16 years, Louie 


Talker has exited (normal) 





我 们 将 在 第 二 天 深入 讨论 连接 技术 。 
有 状态 的 actor 


之 前 的 Talker 是 没有 状态 的 actor。 创 建 一 个 有 状态 的 actor 时 ， 很 容易 








想到 使 用 可 变量 ， 但 实际 上 可 以 使 用 递归 。 举 例 说 明 ， 下 面 这 个 actor 每 
收 到 一 个 消息 时 都 会 将 计数 器 加 1: 


Actors/counter/counter.ex 





defmodule 


Counter do 


def 


loop(count) do 


receive do 


{:next} -> 
I0.puts("Current count: #{count} 


loop(count + 1) 
end 


end 


end 





在 交互 式 Elixir 环 境 iex (Elixir 版 的 REPL ) 中 运行 这 段 代 码 : 





iex(1)> 


counter = spawn(Counter, :loop, [1]) 


#PID<@.47.@> 
iex(2)> 


send(counter, {:next}) 


Current count: 1 
{:next} 
iex(3)> 


send(counter, {:next}) 


{:next} 
Current count: 2 
iex(4)> 


send(counter, {:next}) 


{:next} 
Current count: 3 





这 段 代 码 使 用 Ti 三 个 参数 的 spawn() : 第 一 个 是 模块 名 ， 第 二 个 是 
模块 中 的 函数 名 ， 第 三 个 是 参数 列表 。 用 这 个 版 本 的 spawn() T 可 以 将 禄 
始 的 count aan 。 不 出 所 料 ， 每 发 送 一 个 {:next} 消 
尽 ， 这 个 actot 就 会 输出 一 个 不 同 的 计数 一 一 有 状态 的 actor 并 没有 使 用 可 
变量 。 由 于 这 个 actor 是 串 行 处 理 消息 的 ， 因 此 actor 可 以 安全 地 访问 其 状 
态 ， 而 不 会 引发 并 发 问题 。 


用 API 隐 藏 消息 细节 

Counter 已 经 可 以 使 用 了 ， 但 并 不 方便 。 我 们 需要 记 住 传 给 spawn() 的 

eee 以 及 消息 的 细节 (是 {:next} 、:next i7é{: increment} 
。 为 了 避免 这 些 麻烦 ， 可 以 将 spawn() 的 调用 和 消息 的 细节 全 部 隐 

MAI Mav 数 中 : 


Actors/counter/counter.ex 





defmodule 


Counter do 


> def 


start(count) do 


> spawn(__MODULE__, :loop, [count]) 
> end 
> def 


next(counter) do 


> send(counter, {:next}) 
> end 
def 


loop(count) do 


receive do 


{:next} -> 
IO.puts("Current count 


: #{count 


}") 
loop(count + 1) 
end 


end 


end 





start() 的 实现 用 到 了 伪 变 量 _MODULE_， 其 值 是 当前 模块 的 名 字 。 这 
样 的 APIiFactor 的 使 用 变 得 更 简洁 并 且 不 易 出 错 : 





iex(1)> 


counter = Counter.start(42) 


#PID<@.44.@> 
iex(2)> 


Counter.next (counter) 


Current count: 42 
{:next} 
iex(3)> 


Counter .next(counter) 


{:next} 
Current count: 43 





仅 输 出 状态 的 actor 没 有 什么 实用 性 。 下 面 来 看 看 如 何 让 两 个 actor 进 行 双 
向 通信 ， 让 一 个 actor 可 以 获取 另 一 个 actor 的 状态 。 


双 问 通信 

之 前 提 到 过 ，actor 是 异步 发 送 消息 的 发 送 者 并 不 会 被 阻塞 。 那 我 们 
怎么 获得 一 个 消息 的 回复 昵 ? 比如 在 之 前 的 Counter 中 ， 如 果 不 输出 
actor 的 当前 计数 ， 而 是 将 当前 计数 返回 给 发 送 者 会 怎样 呢 ? 


actor 模 型 没有 提供 直接 回复 消 轧 的 机 制 ， 但 我 们 可 以 上 自行 解决 : 将 发 送 
HAE EAR ES AE h 通过 这 个 机 制 ， 消 息 的 接收 者 可 以 回复 消 

















Actors/counter/counter2.ex 





defmodule 


Counter do 


def 


start(count) do 


spawn(__MODULE__, :loop, [count]) 
end 


def 


next(counter) do 


ref = make_ref() 
send(counter, {:next, self(), ref}) 
receive do 


YYY 


{:ok, “ref, count} -> count 
end 


YY 


end 


def 


loop(count) do 


receive do 


{:next, sender, ref} -> 
> send(sender, {:ok, ref, count}) 
loop(count + 1) 
end 


end 


end 





这 个 版 本 不 再 输出 当前 计数 ， 而 是 将 当前 计数 返回 给 发 送 者 ， 返 回 的 消 
恩 类 似 于 下 面 的 三 元 组 : 


{:ok, ref, count} 





ref 是 发 送 者 用 make_ref() 生成 的 唯一 引用 。 
来 验证 一 下 : 





iex(1)> 


counter = Counter.start(42) 


#PID<@.47.@> 
iex(2)> 


Counter .next (counter) 


Counter .next (counter) 








现在 可 以 为 Counter 的 进程 命名 ， 这 样 就 可 以 通过 名 称 查 找到 对 应 的 进 


程 。 
小 乔 爱 问 : 
为 什么 回复 的 是 一 个 元 组 ? 
人 中 可 以 不 回复 一 个 元 组 ， 而 只 回复 计数 即 


send(sender, count) 
这 是 正确 的 ， 但 Elixir 习 惯用 元 组 作为 消息 ， 且 第 一 个 元 素 表 示 消 
妃 处 理 是 成 功 的 还 是 失败 的 。 本 例 中 的 消息 还 融 有 发 送 者 生成 的 唯 
一 引用 ， 这 样 如 果 多 个 消息 到 达 信 箱 中 ，actor 就 可 以 通过 这 个 唯一 
引用 来 区 分 这 些 消息 。 


将 一 个 消 恩 发 送 给 茶 个 进程 时 ， 需 要 知道 进程 的 标识 待 。 如 采 是 我 们 目 
己 创 建 的 进程 ， 那 不 会 有 什么 问题 。 但 如 果 要 向 一 个 别人 创建 的 进程 发 
送 消息 呢 ? 

这 个 问题 可 以 用 多 种 方法 解决 ， 最 简单 的 方法 就 是 为 进程 命名 : 


iex(1)> 


pid = Counter.start(42) 


#PID<@.47.@> 
tex(2)> 


Process.register(pid, :counter) 


true 
iex(3)> 


counter = Process.whereis(:counter) 


#PID<@.47.@> 
iex(4)> 


Counter .next (counter) 





上 面 的 代码 用 Process .register() 为 进程 命名 ， 并 
用 Process .whereis() 按 名 称 查 找 进 程 。 通 过 
Process.registered() 可 以 查看 已 被 命名 的 所 有 进程 : 


iex(5)> 


Process .registered 


[:kernel_sup, :init, :code_server, :user, :standard_error_sup, 
:global_name_server, :application_controller, :file_server_2, :user_drv, 
:kernel_safe_sup, :standard_error, :global_group, :error_logger, 
:elixir_counter, :counter, :elixir_code_server, :erl_prim_loader, :elixir 
rex, :inet_db] 











可 以 看 到 虚拟 机 在 启动 时 已 经 命名 了 很 多 基本 进程 。 之 前 使 用 send() 
函数 时 ， 其 参数 是 进程 变量 ， 现 在 也 可 以 使 用 进程 名 称 : 








iex(6)> 


send(:counter, {:next, self(), make_ref()}) 


{:next, #PID<@.45.0>, #Reference<@.0.0.107>} 
iex(7)> 


receive do msg -> msg end 





{:ok, #Reference<@.0.0.107>, 43} 





继续 简化 Counter 的 API， 使 其 不 再 使 用 进程 变量 作为 参数 : 


Actors/counter/counter3.ex 


start(count) do 


pid = spawn( MODULE , :loop, [count]) 
> Process.register(pid, :counter) 
pid 
end 


next do 


ref = make_ref() 
send(:counter, {:next, self(), ref}) 
receive do 


{:ok, “ref, count} -> count 
end 





来 验证 一 下 : 


Counter.start(42) 


#PID<@.47.@> 
iex(2)> 


Counter.next 


Counter.next 





SRN are. FOWET — PRK, ASU BOTS Dd re a 
来 构造 一 个 并 行 map 函 数 ， 类 似 于 Clojure 的 pmap 。 


AS EX hl BE FH — FT HK 


与 所 有 函数 式 语言 一 样 ，Elixir 中 的 函数 是 第 一 类 对 象 一 一 函数 可 以 被 

绑 定 到 变量 上 ， 可 以 作为 函数 参数 ， 与 数据 没什么 区 别 。 举 例 说 明 ， 

~ 下 如 何 将 匿名 函数 作为 参数 传 给 Enum.map ， 使 数组 中 每 
70 a8 Sa Ti: 











iex(1)> 


Enum.map([1, 2, 3, 4], fn(x) -> x * 2 end) 





类 似 于 Clojure 的 #(. . . ) 宏 ，Elixir 也 提供 了 定义 匿名 函数 的 快捷 方式 & 


iex(2)> 


Enum.map([1, 2, 3, 4], &(&1 * 2)) 


[2, 4, 6, 8] 
iex(3)> 


Enum.reduce([1, 2, 3, 4], ©, &(&1 + &2)) 





ee te 可 以 用 . 操作 符 来 调用 该 变量 代表 的 
PRI BL: 





iex(4)> 


double = &(&1 * 2) 


#Function<erl_eval.6.80484245> 
iex(5)> 


double. (3) 





再 来 看 一 个 返回 函数 的 函数 : 


twice = fn(fun) -> fn(x) -> fun.(fun.(x)) end end 


#Function<erl_eval.6.80484245> 
iex(7)> 


twice. (double).(3) 





现在 已 经 准备 好 了 创建 并 行 map() NATAL, RA FHR ST 
并 行 map 函 数 


之 前 已 经 用 过 了 Elixir 提 供 的 map() 函数 ， 它 可 以 对 一 个 集合 施加 映射 
操作 ， 不 过 是 串 行 执行 的 。 下 面 我 们 将 其 改造 成 能 并 行 处 理 集 合 的 每 个 





TUR: 


Actors/parallel/parallel.ex 





defmodule 


Parallel do 


def 


map(collection, fun) do 


parent = self() 


processes = Enum.map(collection, fn 


(e) -> 


spawn_link(fn 


() -> 
send(parent, {self(), fun.(e)}) 
end) 


end) 


Enum.map(processes, fn 


(pid) -> 


receive do 


{*pid, result} -> result 
end 


end) 


end 


end 





这 段 代 码 分 为 两 个 阶段 。 第 一 阶段 ， 为 集合 的 每 个 元 素 创建 一 个 进程 

(如 果 集 合 有 1000 个 元 素 ， 将 创建 1000 个 进程 ) 。 每 个 进程 对 相应 元 素 
施加 fun 函数 ， 并 向 发 送 消 息 的 父 进程 回复 施加 函数 的 结果 。 第 二 阶 

段 ， 父 进程 等 待 所 有 子 进 程 的 结果 。 


来 验证 一 下 : 





iex(1)> 


slow double = fn(x) -> :timer.sleep(1000); x * 2 end 


#Function<6. 80484245 in :erl_eval.expr/5> 
iex(2)> 


:timer.tc(fn() -> Enum.map([1, 2, 3, 4], slow double) end) 


{4003414, [2, 4, 6, 8]} 
iex(3)> 


:timer.tc(fn() -> Parallel.map([1, 2, 3, 4], slow_double) end) 


{10@1131, [2, 4, 6, 8]} 








这 段 代 码 用 到 了 :timer. paw 函数 ， 其 对 参数 函数 的 运行 时 间 进 行 统 
计 ， 并 返回 一 个 二 元 组 ， 第 一 个 元 素 是 运行 时 间 ， 第 二 个 元 素 是 参数 函 
数 的 返回 值 。 TULSA 云 行 了 4 秒 ， 而 并 行 版 本 运行 了 1 秒 。 


第 一 天 总 结 








一 天 的 学 习 结 束 了 。 第 二 天 我 们 将 学 习 actor 模 型 的 错误 处 理 和 容错 
生 。 


一 天 我 们 学 到 了 什么 





多 个 actor (进程 》 可 以 同时 运行 、 不 共享 状态 、 通 过 向 信箱 异步 地 发 送 
消息 来 进行 通信 。 FES HARA TEST SSN HUE 


。 Faspawn() 创建 新 进程 ; 
e 用 send() 回 进 程 发 送 消息 ; 





。 通过 模式 罗 配 来 处 理 消息 ; 
。 连接 两 个 进程 ， 当 一 个 进程 结束 时 ， 男 一 个 进程 将 接收 到 通知 ; 
。 在 异步 通信 的 基础 上 上， 实现 双 癌 的 同步 通信 ; 





查找 
。 了 阅读 Elixir 的 函数 库 文 档 。 


e 观看 Erik Meijer, Clemens Szyperski 和 Carl Hewitt 在 Lang.NEXT 
2012 上 关于 actor 模 型 的 对 话 视 频 。 


实践 


测量 在 Erlang 虚 拟 机 上 创建 一 个 进程 的 成 本 ， 且 与 在 JVM 上 创建 一 
个 线程 的 成 本 进行 比较 。 


测量 之 前 的 并 行 map 函 数 的 成 本 ， 且 与 串 行 map 函 数 的 成 本 进行 比 
较 。 何 时 应 使 用 并 行 nap 函 数 ， 何 时 应 使 用 串 行 map 函 数 ? 


参考 之 前 的 并 行 map 函 数 ， 写 一 个 并 行 reduce 函 数 。 


5.3 第 二 天 : 错误 处 理 和 容错 性 

在 1.3 节 已 提 到 过 : 并 发 很 重要 的 一 个 特性 是 并 发 代码 具有 容错 性 。 今 
天 就 来 学 习 actor 模 型 提供 的 容错 性 。 

不 过 首先 要 利用 昨天 的 知识 创建 一 个 较 复 杂 的 贴近 现实 的 例子 ， 之 后 的 
讨论 将 在 此 基础 上 进行 。 

一 个 缓存 actor 


本 方 将 创建 一 个 网 页 缓存， 向 缓存 添加 页 面 时 ， 需 提供 URL 以 及 页 面 文 
a 向 缓存 请 求 页 面 时 ， 需 提供 URL; 也 可 以 查看 缓存 一 共 包含 了 多 少 
NEAT 


我 们 需要 一 个 字典 ， 这 个 字典 包含 了 UREL 到 页 面 的 映射 。 与 Clojure 的 
map 类 似 ，Elixir 的 字典 是 一 个 关联 型 的 持久 数据 结构 : 











iex(1)> 


d = HashDict.new 


#HashDict<[ ]> 
iex(2)> 


d1 = Dict.put(d, :a, "A value for a") 


#HashDict<[a: "A value for a"]> 
iex(3)> 


d2 = Dict.put(d1, :b, "A value for b") 


#HashDict<[a: "A value for a", b 


: "A value for b"]> 
iex(4)> 


d2[:a] 
"A value for a" 





使 用 HashDict.new 可 以 创建 新 的 字典 ， 使 用 Dict.put(dict，key， 
value) 可 以 向 其 中 添加 元 素 ， 使 用 dict[key] 可 以 从 其 中 查找 元 素 。 


利用 字典 可 以 实现 缓存 : 


Actors/cache/cache.ex 





Line 1 defmodule 


Cache do 


- def 


loop(pages, size) do 


- receive do 


{:put, url, page} -> 
new_pages = Dict.put(pages, url, page) 


- new_size = size + byte_size(page) 

- loop(new_pages, new_size) 

- {:get, sender, ref, url} -> 

- send(sender, {:ok, ref, pages[url]}) 
10 loop(pages, size) 

- {:size, sender, ref} -> 

- send(sender, {:ok, ref, size}) 

- loop(pages, size) 

- {:terminate} -> # 终止 信号 - 终止 递归 
15 end 


- end 





这 个 缓存 维护 了 两 个 状态 : pages 和 size 。pages 是 将 URL 映射 到 页 
面 的 字典 ; size 是 当前 缓存 的 所 有 字数 〈 在 第 6 行 由 byte_size() 
更 新 ) 。 


与 之 前 一 样 ， 我 们 仍 用 API 来 隐藏 创建 进程 和 发 送 消息 的 细节 。 下 面 的 
代码 用 于 创建 start_link() HA: 


Actors/cache/cache.ex 





start_link do 


pid = spawn_link(__MODULE__, :loop, [HashDict.new, 8]) 
Process.register(pid, :cache) 


pid 
end 


这 段 代 码 用 空 字典 和 6 作为 1oop() 的 初始 值 ， 并 将 进程 命名 为 :cache 
。 下 面 的 代码 用 于 创建 put() . get() 、size() 和 terminate() 函 
数 : 


Actors/cache/cache.ex 





put(url, page) do 


send(:cache, {:put, url, page}) 
end 


def 


get(url) do 


ref = make_ref() 
send(:cache, {:get, self(), ref, url}) 
receive do 


{:ok, “ref, page} -> page 
end 


end 


def 


size do 


ref = make_ref() 
send(:cache, {:size, self(), ref}) 
receive do 


{:ok, “ref, s} -> s 
end 


end 


def 


terminate do 


send(:cache, {:terminate}) 
end 


| 


put() 和 terminate() 函数 只 是 简单 地 将 参数 包装 在 元 组 中 ， 并 将 元 

组 作为 消息 发 送 。 而 get() 和 size() 函数 比较 复杂 ， 因 为 它们 需要 等 
待 一 个 消息 的 回复 。 本 例 中 ， 这 两 个 函数 都 在 消息 中 带 有 唯一 引用 ， 正 
如 我 们 昨天 学 过 的 那样 。 


来 运行 一 下 这 个 actor: 








iex(1)> 


Cache.start_link 


#PID<@.47.@> 
iex(2)> 


Cache.put("google.com", "Welcome to Google ...") 


{:put, "google.com", "Welcome to Google ..."} 
tex(3)> 


Cache. get("google.com" ) 


"Welcome to Google ..." 
iex(4)> 


Cache.size() 





一 切 顺 利 一 一 现在 已 经 可 以 问 缓 存 中 添加 数据 、 取 出 数据 ， 还 能 碍 看 组 


存 的 大 小 。 
如 果 使 用 一 些 非 法 参数 呢 ? 比如 使 用 nil 作为 页 面 : 





Cache.put("paulbutcher.com", nil) 


{:put, "paulbutcher.com", nil} 
iex(6)> 


=ERROR REPORT==== 22-Aug-2013: :16:18:41 === 
Error in process <@.47.@> with exit value: {badarg,[{erlang,byte_size, [nil] 





** (EXIT from #PID<@.47.0>) {:badarg, [{:erlang, :byte size, [nil], []}, .. 


不 出 所 料 ， 因 为 没有 检查 参数 ， 所 以 这 次 运行 失败 了 。 在 大 多 数 语 言 

中 ， 唯 一 的 处 理 方法 是 添加 一 些 检查 参数 的 代码 ， 当 检查 到 非法 参数 时 
报错 。Elixir 提 供 了 另 一 种 方法 一 一 将 错误 处 理 隔 离 到 一 个 管理 进程 

中 。 这 个 方法 看 似 简单 ， 却 是 一 个 很 大 的 改进 ， 使 代码 更 简洁 、 更 具 维 
护 性 ， 也 更 可 靠 。 


在 学 习 如 何 写 管理 进程 之 前 ， 必 须 详细 了 解 进程 之 间 的 连接 。 


错误 检测 





在 5.2 节 中 ， 我 们 用 spawn_link() 建立 两 个 进程 之 间 的 连接 ， 这 样 就 可 
以 检测 到 某 一 个 进程 的 终止 。 连 接 是 Elixir 编 程 中 最 重要 的 概念 之 一 


就 来 深入 了 解 。 
进程 的 异常 终止 通过 连接 进行 传播 


任何 时 候 都 可 以 用 Process . Link() 在 两 个 进程 之 问 建立 连 E.o FEE 
义 一 个 简单 的 actor， 用 来 讨论 连接 的 原理 : 











Actors/links/links.ex 





defmodule 


LinkTest do 


def 


loop do 


receive do 


{:exit because, reason} -> exit 


(reason) 
{:link to, pid} -> Process.link(pid) 
{:EXIT, pid, reason} -> IO.puts("#{inspect(pid) 


} exited because #{reason} 


end 


loop 
end 


end 





现在 创建 这 个 actor 的 两 个 实例 ， 将 这 两 个 进程 连接 起 来 ， 并 让 其 中 一 个 
异常 终止: 





iex(1)> 


pid1 = spawn(&LinkTest.loop/@) 


#PID<@.47.@> 
tex(2)> 


pid2 = spawn(&LinkTest.loop/@) 


#PID<@.49.@> 
iex(3)> 


send(pid1, {:link_to, pid2}) 


{:link_to, #PID<@.49.2>} 
iex(4)> 


send(pid2, {:exit_because, :bad thing happened}) 


{:exit because, :bad thing happened} 





这 上 段 代 码 首先 创建 了 actor 的 两 个 实例 ， 将 其 进程 标识 分 别 绑 定 到 pid1 
和 pid2 。 然 后 创建 从 pid1 到 pid2 的 连接 。 最 后 让 pid2 的 进程 异常 终 
{Es 


pid1 本 应 打印 pid2 异常 终止 的 原因 ， 但 我 们 注意 到 pid1 并 没有 输 
出 ， 原 因 是 没有 设置 :trap_exit 。 另 外 ， 如 果 用 Process.info() Æ 
看 两 个 进程 的 状态 ， 会 看 到 以 下 现象 : 








iex(5)> 


Process.info(pid2, :status) 


nil 
iex(6)> 


Process.info(pid1, :status) 


nil 


这 样 一 来 不 只 是 pid2 终止 ， 而 是 两 个 进程 都 终止 了 。 我 们 先 来 做 男 一 
个 试验 ， 再 来 学 习 如 何 修复 这 个 问题 。 


连接 是 双 同 的 


如 果 重 复 上 面 的 试验 ， 让 pid1 终止 ， 就 会 看 到 同样 的 结果 一 一 两 个 进 
程 都 终止 了 : 





iex(1)> 


pid1 = spawn(&LinkTest.loop/@) 


#PID<@.47.@> 
tex(2)> 


pid2 = spawn(&LinkTest.loop/@) 


#PID<@.49.@> 
iex(3)> 


send(pid1, {:link_to, pid2}) 


{:link_to, #PID<@.49.2>} 
iex(4)> 


send(pid1, {:exit_because, :another_bad_thing happened}) 


{:exit_because, :another_bad_thing happened} 
iex(5)> 


Process.info(pid1, :status) 


nil 
iex(6)> 


Process.info(pid2, :status) 





可 见 连 接 是 双向 的 。 建 立 了 从 pid1 到 pid2 的 连接 的 同时 ， 也 就 建立 了 
Nese 到 pid1 的 连接 一 一 所 以 如 果 其 中 一 个 进程 终止 ， 那 么 两 个 进程 
就 都 终止 了 。 


正常 终止 


如 果 尝 试 让 已 经 连接 的 一 个 进程 正常 终止 (用 :normal 这 个 理由 退出 进 
fe) ， 会 观察 到 以 下 现象 : 





iex(1)> 


pid1 = spawn(&LinkTest.loop/@) 


#PID<@.47.@> 
iex(2)> 


pid2 = spawn(&LinkTest.loop/@) 


#PID<@.49.@> 
tex(3)> 


send(pid1, {:link_to, pid2}) 


{:link_to, #PID<@.49.2>} 
iex(4)> 


send(pid2, {:exit_because, :normal}) 


{:exit_because, :normal} 
iex(5)> 


Process.info(pid2, :status) 


nil 
iex(6)> 


Process.info(pid1, :status) 


{:status, :waiting} 





可 见 进程 正常 终止 是 不 会 让 连接 的 另 一 个 进程 终止 的 。 
系统 进程 


通过 设置 进程 的 :trap_exit 标识 ， 可 以 让 一 个 进程 捕获 另 一 个 进程 的 
终止 消息 。 用 专业 术语 来 说 ， 这 是 将 进程 转化 为 系统 进程 : 


Actors/links/links.ex 


loop_system do 


Process.flag(:trap_exit, true 





来 测试 一 下 : 





iex(1)> 


pid1 = spawn(&LinkTest.loop_system/@) 


#PID<@.47.@> 
tex(2)> 


pid2 = spawn(&LinkTest.loop/@) 


#PID<@.49.@> 
iex(3)> 


send(pid1, {:link_to, pid2}) 


{:link_to, #PID<@.49.2>} 
iex(4)> 


send(pid2, {:exit_because, :yet_another_bad_thing happened}) 


{:exit_because, :yet_another_bad_thing happened} 
#PID<@.49.@> exited because yet_another_bad_thing happened 
iex(5)> 


Process.info(pid2, :status) 


nil 
iex(6)> 


Process.info(pid1, :status) 


{:status, :waiting} 





现在 ， 可 以 用 loop_system 启动 pid1 。 AIL, pid 会 得 到 
消息 《并 打印 退出 的 消 轧 ) ， 并 且 会 继续 运 


进程 


我 们 已 经 准备 好 实现 一 个 进程 管理 者 〈 也 就 是 一 个 系统 进程 ) ， 它 管理 
着 香干 个 工作 进程 ， 当 工作 进程 朋 溃 时 进行 干预 。 


下 面 的 代码 为 前 述 的 缓存 actor 创 建 一 个 管理 者 ， 当 缓存 进程 朋 训 时 ， 管 
理 者 会 将 其 重启 : 


Actors/cache/cache.ex 





defmodule 


CacheSupervisor do 


def 


start do 


spawn(__MODULE__ 
end 


， :loop_system, []) 


def 


loop do 


pid = Cache.start_link 
receive do 


{:EXIT, “pid, :normal} -> 
I0.puts("Cache exited normally 


:ok 
{:EXIT, “pid, reason} -> 
IO0.puts("Cache failed with reason #{inspect reason} - restarting it 


loop 


end 


def 


loop_system do 


Process.flag(:trap_exit，true 





这 个 actor 将 自己 转化 为 系统 进程 ， 并 进入 loop() 。1loop() 创建 了 
Cache.loop() 进程 ， 并 一 直 阻 塞 ， 直 到 所 创建 的 进程 终止 。 该 进程 若 
是 正常 终止 ， 则 管理 者 也 正常 终止 (返回 :ok ) ， 否 则 loop() 进行 递 
归并 重新 创建 缓存 进程 。 


现在 不 必 直 接 启 动 Cache 实例 ， 而 是 启动 CacheSupervisor ， 其 将 负 
贡 创 建 Cache 实例 : 





iex(1)> 


CacheSupervisor.start 


#PID<@.47.@> 
iex(2)> 


Cache.put("google.com", "Welcome to Google ...") 


{:put, "google.com", "Welcome to Google ..."} 
iex(3)> 


Cache.size 





如 果 绥 存 衣 误 ， 就 会 被 目 动 重启 : 





iex(4)> 


Cache.put("paulbutcher.com", nil) 


{:put, "paulbutcher.com", nil} 
Cache failed with reason {:badarg, [{:erlang, :byte_size, [nil], []}, .. 
iex(5)> 


=ERROR REPORT==== 22-Aug-2013: :17:49:24 === 
Error in process <@.48.@> with exit value: {badarg,[{erlang,byte_size, [nil] 


tex(5)> 


Cache.size 


0 
iex(6)> 


Cache.put("google.com", "Welcome to Google ...") 


{:put, "google.com", "Welcome to Google ..."} 
iex(7)> 


Cache.get("google.com") 


"Welcome to Google ..." 











ELK Se FF Hoe ANI AER ZB, (DG BS a ea AT A 
继续 使 用 的 缓存 。 
超时 








将 缓存 目 动 重 司 是 个 不 错 的 方法 ， 但 并 不 是 万 能 药 。 如 果 两 个 进程 同时 
加 缓存 发 送 消 轧 ， 下 面 这 些 事件 会 依次 发 生 : 


1. 进程 1 辐 缓 存 发 送 :put 消息 ; 

2. 进程 2 问 绥 存 发 送 :get 消息 ; 

3. 缓存 在 处 理 进程 1 的 消息 时 骨 溃 了 ， 

4. 管理 者 将 缓存 重启 ， 但 进程 2 的 消息 丢失 了 ; 


5. 进程 2 在 receive 处 陷入 死 锁 ， 一 直 在 等 待 消息 的 回复 ， 但 这 个 回复 
永远 不 会 发 送 。 


我 们 可 以 用 after 语句 来 为 receive 增加 超时 机 制 ， 这 需要 修改 一 
下 get() (size() 函数 也 需要 同样 的 修改 ) : 














Actors/cache/cache2.ex 


get(url) do 


ref = make_ref() 
send(:cache, {:get, self(), ref, url}) 
receive do 


{:ok, “ref, page} -> page 
after 


1000 -> nil 





小 乔 爱 问 : 
消息 是 否 保证 能 被 送 达 ? 
造成 上 面 现 象 的 主要 原因 是 缓存 重启 时 消息 丢失 了 ， 这 天 滨 扯 到 一 


个 很 重要 的 问题 一 一 Flixir 是 否 能 确保 消 轧 一 定 能 被 送 达 并 被 处 
H 





Elixir 有 两 个 规则 : 
。 如 果 没 有 异常 发 生 ， 消 息 一 定 能 被 送 达 并 被 处 理 ; 


。 如 果菜 个 环节 出 现 寞 第 ， 异 常 一 定 会 通知 到 使 用 者 (假设 使 用 
者 已 经 连接 到 或 正在 管理 发 生 异 常 的 进程 ) 


第 二 条 规则 是 Elixir 提 供 容错 性 的 基石 。 
错误 处 理 内 核 (error-Kernel) 模式 
Tony Hoare 有 一 句 名 言 ?。 





3 http://zoo0.cs.yale.eduw/classes/cs422/2011/bib/hoare81emperor.pdf 


软件 设计 有 两 种 方式 : 一 种 方式 是 ， 使 软件 过 于 简单 ， 明 显 地 没有 
缺陷 ， 劝 一 种 方式 是 ， 使 软件 过 于 复杂 ， 没 有 明显 的 缺陷 。 


ae 种 容错 的 方式 : 错误 处 理 内 核 模式 ， 在 两 者 之 间 找 到 了 
平衡 


一 个 软件 系统 如 果 应 用 了 错误 处 理 内 核 模式 ， 那 么 该 系统 正确 运行 的 前 
提 是 其 错误 处 理 内 核 必 须 正确 运行 。 成 熟 的 程序 通常 使 用 尽 可 能 小 而 简 
单 的 错误 处 理 内 核 一 一 小 而 简单 到 明显 地 没有 人 缺陷。 


对 于 一 个 使 用 actor 模 型 的 程序 ， 其 错误 处 理 内 核 是 项 层 的 管理 者 ， 管 理 
着 子 进程 一 “对 子 进程 进行 启动 、 停止 、 重启 等 操作 。 


程序 的 每 个 模块 都 有 自己 的 错误 处 理 内 核 一 一 模块 正确 运行 的 前 提 是 其 
错误 处 理 内 核 必须 正确 运行 。 子 模块 也 会 有 自己 的 错误 处 理 内 核 ， 以 此 
类 推 。 这 就 构成 了 错误 处 理 内 核 的 层级 树 ， 较 危险 的 操作 都 会 被 下 放 给 
底层 的 actor 执 行 ， 如 图 5-2 所 示 。 














C] 管理 者 
O 工作 进程 


风险 递增 


图 5-2 错误 处 理 的 层级 树 
错误 处 理 内 核 模式 主要 解决 了 防御 式 编 程 中 磁 到 的 一 些 环 手 问 题 。 


(ER H iid 


防御 式 编程 主要 通过 预言 可 能 出 现 的 缺陷 来 实现 容错 性 。 举 例 说 明 ， 假 
设 有 一 个 函数 ， 其 接受 一 个 字符 串 ， 当 字符 串 全 是 大 写 时 返回 true ， 
否则 返回 false 。 先 草拟 一 个 版 本 : 





all_upper?(s) do 


String.upcase(s) == s 
end 


[L CR 


看 上 去 不 错 ， 但 如 果 传 入 nil 作为 参数 ， 这 段 代 码 将 有 骨 尖 。 为 了 解决 这 
个 问题 ， 有 些 程序 员 就 对 其 进行 了 如 下 修改 : 





defmodule 


Upper do 


def 


all_upper?(s) do 


cond do 


nil?(s) -> false 


true 


-> String.upcase(s) == s 


end 


end 


现在 再 碰 到 nil 作为 参数 时 ， 代 码 就 不 会 朋 尝 了 ， 但 如 果 传 入 男 一 些 不 
按 套 路 出 牌 的 参数 昵 《 比 如 一 个 关键 字 ) ? 使 用 nil 作为 参数 对 这 个 函 
数 是 否 真 的 有 意义 ? 这 样 修 改 代码 很 有 可 能 会 引发 一 个 缺陷 只 是 我 
eee 一 天 它 会 跳 
起 来 咬 我 们 一 口 


使 用 actor 模 型 的 程序 并 不 进行 防御 式 编程 ， 而 是 遵循 “ 任 其 骨 演 ”的 哲 
学 ， 让 actor 的 管理 者 来 处 理 这 些 问 题 。 这 样 做 有 几 个 好 处 ， 比 如 : 


。 代码 会 变 得 更 加 简洁 且 容 易 理解 ， 可 以 清晰 区 分 出 “一 帆 风 顺 ? 的 代 
码 和 容错 代码 ; 


e 多 个 actor 之 间 是 相互 独立 的 ， 并 不 共享 状态 ， 因 此 一 个 actor 的 骨 泪 
不 太 会 珊 及 到 其 他 actor。 尤 其 重要 的 是 一 个 actor 的 骨 尝 不 会 影 啊 到 
其 管理 者 ， 这 样 管理 者 才能 正确 处 理 此 次 朋 误 ; 


。 管理 者 也 可 以 选择 不 处 理 骨 涡 ， 而 是 记录 毅 湿 的 原因 ， 这 样 我 们 惑 
会 得 到 骨 当 通知 并 进行 后 续 处 理 。 


虽然 第 一 眼看 上 去 “ 任 其 骨 溃 ”的 哲学 有 点 奇怪 ， 但 它 和 邓 BRAC TE ATR 
式 都 在 产品 环境 上 反复 进行 过 验证 。 一 些 系统 的 可 用 性 据说 提高 到 了 
99.9999999% (9 个 9， 参 见 Programming Erlang: Software for a 
Concurrent World [Arm13]4 ) 





























4 该 书 中 文 版 《Erlang 程 序 设 计 (第 2 版 〉》 己 由 人 民 邮 电 出 版 社 出 
者 注 























版 : http://www .ituring.com.cn/book/1264 。 编 
人 A — + 
第 二 天 总 结 


我 们 第 一 天 学 习 了 actor 模 型 的 基础 知识 ， 第 二 天 学 习 了 actor 模 型 如 何 进 
行 容错 。 第 三 天 将 学 习 如 何 用 actor 模 型 进行 分 布 式 编程 。 


第 二 天 我 们 学 到 了 什么 
Elixir 通 过 创建 管理 者 并 使 用 进程 的 连接 来 进行 容错 : 
连接 是 双 辐 的 一 一 如 果 进 程 a 连 接 到 进程 b， 那 么 进程 b 也 连接 到 进 


Fea; 
连接 可 以 传递 错误 一 如 果 两 个 进程 已 经 连接 ， 其 中 一 个 进程 异常 
终止 ， 那 么 另 一 个 进程 也 会 异常 终止 ; 
如 果 进 程 被 转化 成 系统 进程 ， 当 其 连接 的 进程 异常 终止 时 ， 系 统 进 
程 不 会 终止 ， 而 是 会 收 到 :EXIT 消息 。 
PRAJ 
查找 
e |JiProcess.monitor() 的 相关 文档 管理 一 个 进程 与 连接 一 
个 进程 有 什么 区 别 ? 何 时 使 用 管理 ， 何 时 使 用 连接 ? 


。Ejixir 是 如 何 进 行 异 常 处 理 的 ? 何 时 应 该 使 用 寞 常 处 理 ， 而 不 使 用 
管理 者 和 “ 任 其 崩 演 ”的 哲学 呢 ? 


实践 


。 在 receive 块 中 ， 如 果 一 个 消息 没 法 匹配 到 任何 模式 ， 将 会 被 留 在 
进程 的 信箱 中 。 利 用 这 个 特性 和 超时 特性 ， 实 现 一 个 有 优先 级 的 信 
箱 ， 即 使 低 优先 级 的 消息 可 能 比 高 优先 级 的 消息 更 早 地 被 接收 ， 
但 高 优先 级 的 消息 会 比 低 优先 级 的 消息 更 早 地 被 处 理 。 


改进 今天 开篇 介绍 的 绥 存 actor， 根 据 hash 函 数 将 绥 存 元 素 分 配 到 多 
个 actor 中 。 创 建 一 个 管理 actor， 其 负责 创建 多 个 工作 actor， 并 将 消 


息 转 发 给 对 应 的 工作 actor。 如 果 一 个 工作 actor 骨 尝 ， 管 理 actor 应 该 
怎么 办 ? 











5.4 BHR: 分 布 式 


到 目前 为 止 我 们 学 习 的 所 有 知识 都 只 支持 一 台 计 算 机 ， 相 比 于 已 经 学 习 
过 的 并 发 模型 ，actor 模 型 的 一 个 很 大 的 优点 是 其 支持 分 布 式 一 一 它 可 以 
将 消息 发 送 到 另 一 台 计 算 机 上 的 actor， 就 像 发 送 到 本 地 计算 机 上 的 actor 
一 样 





讨论 分 布 式 之 前 ， 要 了 解 Elixir 提 供 的 一 个 强大 的 工具 一 一 OTP。 
OTP 


过 去 两 天 ， 我 们 都 在 用 “原始 ”的 Elixir 进 行 演示 。 这 有 利于 我 们 理解 其 运 
行 机制 ， 但 如 果 用 原始 的 方式 创建 每 一 个 工作 进程 和 管理 者 ， 那 就 会 变 
得 非 第 无 趣 且 容易 出 错 。 讲 到 这 里 你 肯定 猜 到 了 我 们 将 要 介绍 一 个 能 解 
决 这 个 问题 的 库 一 一 OTP。 


小 乔 爱 问 : 

OTP 代 表 了 什么 ? 

缩写 单词 通常 只 为 自己 代言 。IBM 字 面 上 是 International Business 
Machines 的 缩写 ， 但 对 于 大 多 数 人 来 说 IBM 就 是 IBM: 485 WEL 
定 俗 成 的 名 称 。 类 似 地 ，BBC 也 不 再 是 British Broadcasting 
Corporation 的 缩写 ，OTP 也 不 再 是 Open Telecom Platform 的 缩写 。 
Erlang 〈 包 括 Elixir) 最 初 是 从 电信 业 发 展 起 来 的 ， 许 多 Erlang 的 最 


佳 实践 都 被 收录 到 了 OTP 中 。 但 OTP 不 是 电信 业 专 用 的 ，OTP 就 是 
OTP. 


在 学 习 OTP 之 前 ， 先 来 看 看 在 Elixir 中 函数 与 模式 匹配 是 如 何 交 互 的 。 
函数 与 模式 匹配 
之 前 我 们 仅 在 介绍 receive 块 时 提 到 过 模式 匹配 ， 然 而 在 Elixir 中 模式 


匹配 随处 可 见 。 值 得 强调 的 是 ， 每 次 调用 函数 时 ， 其 实 都 在 进行 模式 匹 
配 。 用 一 个 简单 的 函数 来 举例 : 

















Actors/patterns/patterns.ex 


defmodule 


Patterns do 


foo({x, y}) do 


IO0.puts("Got a pair, first element #{x}, second #{y} 





这 上 段 代码 定义 了 一 个 函数 ， 其 接受 一 个 参数 ， 并 用 模式 {x，y} 匹配 这 
个 参数 。 如 果 用 一 个 二 元 组 进行 匹配 ， 那 么 二 元 组 的 第 一 个 元 素 会 绑 定 
到 x 上 ， 第 二 个 元 系 会 绑 定 到 y E: 





iex(1)> 


Patterns.foo({:a, 42}) 


Got a pair, first element a, second 42 
:ok 





如 果 用 一 个 不 匹配 的 参数 进行 调用 ， 将 会 得 到 一 个 错误 : 


Patterns .foo( "something else") 


* (FunctionClauseError) no function clause matching in Patterns .foo/1 
patterns.ex:3: Patterns.foo("something else") 
erl eval.erl:569: :erl_eval.do_apply/6 
src/elixir.erl:147: :elixir.eval_forms/3 





根据 需要 可 以 为 一 个 函数 添加 多 个 不 同 的 定义 : 


Actors/patterns/patterns.ex 





def 


foo({x, y, z}) do 


IO0.puts("Got a triple: #{x}, #{y}, #{z} 


") 


end 


[L SER 
调用 函数 时 ， 与 参数 匹配 的 函数 将 被 执行 


Patterns.foo({:a, 42, "yahoo"}) 


Got a triple: a, 42, yahoo 


Patterns.foo({:x, :y}) 


Got a pair, first element x, second y 
:ok 





下 面 将 使 用 OTP 实 现 一 个 服务 器 ， 其 中 也 用 到 了 这 个 技术 。 

用 GenServer 重 新 实现 绥 存 

现在 学 习 OTP 的 一 个 组 件 : GenServer。GenServer 是 一 个 行为 
(behaviour) ， 可 以 用 来 自动 创建 一 个 有 状态 的 actor。 我 们 惑 来 利用 这 
个 组 件 重 新 实现 昨天 的 缓存 。 


ae 能 党 得 behaviour 这 种 拼写 有 点 怪 ， 它 来 源 于 Erlang， 而 Erlang 用 的 
英 式 拼写 。 我 们 就 入 乡 随 俗 疝 用 这 种 拼写 。 


这 里 所 说 的 “行为 ”非常 类 似 于 Java 中 的 接口 一 一 其 定义 了 一 个 函数 集 。 
模块 使 用 use 来 声明 自己 实现 了 行为 : 





Actors/cache/cache3.ex 








defmodule 


Cache do 


> use 


GenServer.Behaviour 
def 


handle _cast({:put, url, page}, {pages, size}) do 


new_pages = Dict.put(pages, url, page) 
new_size = size + byte_size(page) 
{:noreply, {new_pages, new_size}} 

end 


def 


handle_call({:get, url}, _from, {pages, size}) do 


{:reply, pages[url], {pages, size}} 
end 


def 


handle call({:size}, from, {pages, size}) do 


{:reply, size, {pages, size}} 
end 


end 





这 段 代码 中 Cache 声明 自己 实现 了 一 个 行为 (GenServer .Behaviour 
) 和 两 个 函数 (handle_cast() 和 handle call())。 





handle_cast() 可 以 处 理 消息 但 并 不 回复 消息 。 其 接受 两 个 参数 : 收 
到 的 消息 、actor 的 当前 状态 。 返 回 值 是 一 个 二 元 组 {:noreply， 
new_state} 。 本 例 中 实现 了 一 个 handle_cast() 来 处 理 :put 消息 。 


handle_call() 可 以 处 理 消息 旦 回复 消息 。 其 接受 三 个 参数 : 收 到 的 
消息 、 发 送 者 标识 、actor 的 当前 状态 。 返回 值 是 一 个 三 元 组 {: reply, 
reply_value，new_state} 。 本 例 中 实现 了 两 个 handle_call()， 
一 个 负责 处 理 :get 消息 ， 另 一 个 负责 处 理 :size 消息 。 类 似 于 
ae Elixir 用 下 划 线 CO) 开头 的 变量 名 来 表示 该 变量 不 被 使 用 一 一 
比如 from 。 


按照 惯例 仍 会 提供 一 些 便于 使 用 的 API: 

















Actors/cache/cache3.ex 


def 


start_link do 


:gen_server.start_link({:local, :cache}, _ MODULE, {HashDict.new, ©}, [ 
end 


def 


put(url, page) do 


:gen_server.cast(:cache, {:put, url, page}) 
end 


def 


get(url) do 


:gen_server.call(:cache, {:get, url}) 
end 


def 


size do 


:gen_server.call(:cache, {:size}) 
end 





这 段 代 码 使 用 了 :gen_server .start_ link() ##spawn_link() ， 
使 用 :gen_server. cast() 发 送 一 个 不 需要 回复 的 消息 ， 使 
用 :gen_server.call() 发 送 一 个 需要 回复 的 消息 。 


接 下 来 ， 用 OTP 创 建 一 个 管理 者 。 
OTP 管 理 者 
这 是 一 个 用 OTP 管 理 者 行为 来 实现 的 缓存 管理 者 : 


Actors/cache/cache3.ex 





defmodule 


CacheSupervisor do 


def 


init(_args) do 


workers = [worker(Cache, [])] 


supervise(workers, strategy: :one_for_one) 
end 





进程 启动 时 会 调用 init() 函数 。 其 接受 一 个 参数 (本 例 中 没有 使 用 这 
个 参数 ) ， 创 建 一 些 工 作 进 程 并 将 其 管理 起 来 。 本 例 中 创建 了 一 
个 Cache 进程 ， 并 使 用 one-for-one 重启 策略 来 管理 该 进程 。 


小 乔 爱 问 : 
什么 是 重启 策略 ? 
OTP 管 理 者 行为 支持 多 种 不 同 的 重启 策略 ， 最 常用 的 是 one-for-all 和 


one-for-one。 





这 些 策略 指 的 是 管理 多 个 工作 进程 的 管理 者 如 何 重 启 朋 尝 的 工作 进 
程 。 如 果 一 个 工作 进程 朋 涡 ， 使 用 one-for-all 策 略 的 管理 者 将 重启 
所 有 工作 进程 (包括 那些 没有 崩 演 的 工作 进程 》”。 使 用 one-for-one 
策略 的 管理 者 仅 重 启 已 经 朋 尝 的 工作 进程 。 








还 有 许多 其 他 的 集 略 ， 不 过 这 两 种 已 经 可 以 应 对 大 部 分 场景 了 。 
按照 惯例 ， 提 供 易 用 的 API: 


Actors/cache/cache3.ex 





start link do 


:supervisor.start_link(__MODULE_, []) 
end 














你 可 以 自行 验证 一 下 缓存 和 管理 者 是 否 能 正常 工作 ， 在 昨天 的 学 习 中 进 
行 过 类 似 的 验证 ， 此 处 不 再 更 述 。 


小 乔 爱 问 : 


OTP 还 能 做 什么 ? 


正如 以 上 的 代码 所 示 ，OTP 可 以 帮 我 们 省 去 一 些 无 聊 的 代码 。 此 外 
它 还 提供 了 更 多 的 好 处 ， 这 些 好 处 在 之 前 的 例子 中 不 是 那么 明显 。 
比 起 之 前 创建 的 简单 版 本 ， 用 OTP 实 现 的 服务 器 和 管理 者 有 着 更 多 
的 功能 ， 其 中 包括 以 下 几 点 。 

更 好 的 重 局 逻辑 : 之 前 我 们 自己 实现 的 简单 管理 者 使 用 非常 草率 
的 重启 策略 一 一 如 末 工 作 线程 衣 误 ， 就 将 其 重启 。 如 条 工作 线程 在 
司 动 时 很 快 就 盘 渍 ， 那 么 管理 者 会 一 直 重 司 工 作 线程 。 而 OTP 提 供 
的 管理 者 可 以 设 定 最 大 重 月 频率 ， 如 末 重 局 超过 这 个 频率 ， 管 理 者 


将 会 异常 终止 。 


调试 与 日 志 : 通过 调整 OTP 服 务 器 的 参数 ， 可 以 开局 调试 和 日 志 功 
能 ， 这 对 开发 很 重要 。 


代码 热 升 级 : OTP 服 务 顺 人 不 需要 停止 整个 系统 就 可 以 进行 升级 。 
还 有 许多 : 发 布 管理 、 故 障 切 换 、 目 动 扩 容 ， 等 等 。 


本 书 不 会 详细 介绍 这 些 特性 。 在 大 部 分 场景 中 可 以 直接 使 用 这 些 特 
性 ， 而 不 建议 自己 造 轮子 。 


节点 

















每 创建 一 个 Erlang 虚 拟 机 实例 ， 就 相当 于 创建 了 一 个 市 点 。 之 前 的 例子 
都 只 创建 了 一 个 节点 。 现 在 来 学 习 如 何 创建 和 连接 多 个 节点 。 





连接 (connect) > 节点 





5 之 前 我 们 看 到 过 对 进程 的 连接 ， 其 指 的 是 link ; 此 处 的 连接 指 的 是 connect ， 这 两 个 概念 
不 可 混淆 。 一 一 译 者 注 











连接 两 个 节点 时 ， 必 须 先 对 这 两 个 节点 命名 。 启 动 Erlang 虚 拟 机 时 可 以 
使 用 --name 或 者 --sname 选项 为 节点 命名 。 我 的 MacBook Pro 的 IP 
是 16.99.1.56 。 运 行 jex --sname node1016.99.1.56 --cookie 
yumyum 〈 稍 后 会 解释 - -cookie 参数 ) ， 可 以 查看 节点 名 称 : 





iex(node1@10.99.1.50)1> 


Node. self 


:"node1@10.99.1.50" 
tex(node1@1@.99.1.50@)2> 


Node. list 








使 用 Node .self() 可 以 查看 节点 名 称 ， 使 用 Node.1ist() 可 以 查看 当 
前 节点 已 知 的 其 他 节点 列表 。 现 在 这 个 列表 是 空 的 ， 下 面 将 为 其 赋值 。 
如 果 使 用 iex --sname node2@10.99.1.92 --cookie yumyum 在 另 
一 台 计 算 机 (16.99.1.92 ) 上 运行 另 一 个 Erlang 虚 拟 机 ， 

用 Node.connect() 可 以 连接 该 节点 : 





iex(node1@10.99.1.50)3> 


Node . connect ( :"node2@10.99.1.92") 


true 
tex(node1@10.99.1.50)4> 


Node. list 


[ :"node2@10.99.1.92" | 





连接 是 双向 的 ， 第 二 台 计 算 机 也 知道 第 一 台 的 信息 : 


iex(node2@10.99.1.92)1> 


Node.list 





[:"node1@10.99.1.50"] 


小 乔 爱 问 : 

如 果 只 有 一 人 台 计 算 机 呢 ? 

如 果 你 只 有 一 台 计 算 机 ， 但 又 想 进行 集群 试验 ， 那 有 以 下 几 种 选 
X. 


择 
o 使 用 虚拟 机 
。 (EH Amazon EC2 或 者 类 似 的 云 服务 ; 
。 在 一 台 计 算 机 上 运行 多 个 节点 。 虽 然 这 种 方案 与 实际 环境 有 一 
些 偏差 ， 却 是 目前 最 简单 的 方案 。 如 果 你 对 如 何 配置 多 机 环境 


不 太 熟 悉 ， 这 种 方式 可 以 帮 你 避免 设置 防火 增 和 配置 网 络 等 叹 
烦 。 











远程 执行 


已 经 建 并 了 两 个 连接 的 市 把 ， 一 个 节操 可 以 在 男 一 个 节点 上 执行 代码 ; 


tex(node1@10.99.1.50@)5> 


whoami = fn() -> I0.puts(Node.self) end 


#Function<20.80484245 in :erl_eval.expr/5> 
tex (node1@10.99.1.50)6> 


Node. spawn(:"node2@10.99.1.92", whoami) 


#PID<8242.50.@> 
node2@10.99.1.92 








这 段 看 似 简单 的 代码 却 异 常 强大 一 一 一 个 而 点 在 另 一 个 市 点 上 执行 代 
码 ， 而 且 执 行 的 结果 还 会 返回 给 第 一 个 节点 。 这 是 因为 子 进程 会 继承 父 
进程 的 组 长 (group leader) ，I0.puts() 会 将 输出 发 送 给 组 长 。 其 暗 
地 里 进行 了 很 多 处 理 ! 


i RETA E 
如 你 所 料 ， 一 个 actor 可 以 辣 男 一 台 计 算 机 的 actor 发 送 消 恩 。 举 例 说 明 ， 


下 面 的 代码 在 一 个 节点 上 创建 了 一 个 Counter 的 实例 (参见 5.2 节 的 “有 
状态 的 actor” 部 分 〉: 











iex(node2@10.99.1.92)1> 


pid = spawn(Counter, :loop, [42]) 


#PID<@.51.@> 
tex (node2@10.99.1.92)2> 


:global.register_name(:counter, pid) 





创建 好 实例 后 ， 用 :global.register_name() 进行 注册 ， 这 类 似 于 
Process.register() ， 但 它 是 在 集群 全 局 注册 名 字 。 


现在 就 可 以 在 另 一 个 节点 上 使 用 :global.whereis_name() 获取 进程 
标识 符 ， 并 发 送 消 息 : 





iex(node1@10.99.1.50)1> 


Node . connect(:"node2@10.99.1.92") 


true 
iex(node1@10.99.1.50)2> 


pid = :global.whereis_name(:counter) 


#PID<7856.51.0> 
iex(node1@10.99.1.50)3> 


send(pid, {:next}) 


{:next} 
tex(node1@10.99.1.50)4> 


send(pid, {:next}) 
{:next} 





显然 ， 在 第 一 个 节点 上 的 输出 是 : 


Current count: 42 
Current count: 43 





重申 一 下 : HARIT ARR HH BP" AEA E actor Sc eRe a Eo 


小 乔 爱 问 : 


我 该 如 何 管 理 集群 ? 





一 个 节点 可 以 在 男 一 个 节点 上 远程 执行 代码 ， 这 是 非常 强大 的 一 个 
功能 。 不 过 强大 的 功能 都 很 危险 。 在 设计 集群 管理 策略 时 尤其 需要 
考虑 安全 性 。 之 前 调用 iex 时 使 用 的 - -cookie 参数 就 源 出 于 此 
一 个 Erlang 节 点 仅 接 收 使 用 同样 cookie 的 节点 发 送 的 消息 。 也 
有 其 他 的 方法 用 来 保障 Erlang 集 群 的 安全 性 ， 比 如 SSL 隧 道 连接 。 


安全 性 不 是 唯一 的 问题 。 上 面 的 例子 中 使 用 卫 地 址 作为 节点 名 称 的 
一 部 分 ， 这 在 大 部 分 场景 下 都 适用 《因为 我 并 不 知道 你 的 网 络 配 
置 ， 使 用 IP 比 较 保险 )。 不 过 在 产品 环境 中 未 必 是 最 好 的 选择 。 











集群 设计 中 的 种 种 权衡 非常 复杂 ， 也 超出 了 本 书 的 范围 。 在 产品 环 
境 中 使 用 集群 前 ， 请 务必 阅读 相关 文档 。 


分 布 式 词 频 统计 


我 们 即将 结束 对 actor 模 型 和 Elixir 的 学 习 ， 现 在 来 尝试 实现 分 布 式 的 
Wikipedia 词 频 统计 前 几 章 已 经 介绍 过 其 背景 ) 。 分 布 式 的 解决 方案 与 
前 儿 章 的 解决 方案 相 比 ， 相 同 的 是 可 以 借助 多 核 的 力量 ; 不 同 的 是 它 还 
可 以 利用 多 台 计 算 机 的 力量 ， 且 能 从 册 演 中 恢复 。 


分 布 式 解决 方案 的 基本 架构 如 图 5-3 所 示 。 





解析 器 





请 求 新 的 页 面 





已 经 被 处 理 的 页 面 计数 器 







计数 结果 


图 5-3 分 布 式 解决 万 柔 的 基本 架构 


分 布 式 解决 方案 涉及 到 三 类 actor: 一 个 解析 器 (Parser ) ， 多 个 计数 
器 (Counter ) 和 一 个 累加 器 (Accumulator ) 。 解 析 器 负责 将 一 个 
Wikipedia dump 解 析 成 若干 个 页 面 ， 计 数 正 负 贡 统计 页 面 的 词 频 ， 累 加 
器 负责 统计 多 个 页 面 的 词 频 总 数 。 


处 理 的 第 一 步 是 计数 器 同 解 析 峰 请 求 一 个 页 面 。 计 数 需 收 到 页 面 后 ， 统 
计 页 面 的 词 频 ， 并 将 结果 传 给 累加 器 。 累 加 器 处 理 完成 后 ， 会 告诉 解析 
器 该 页 面 已 经 被 处 理 。 


我 们 稍 后 会 解释 为 什么 要 选择 这 样 的 处 理 流程 ， 先 来 看 看 如 何 实现 这 个 
方案 ， 从 计数 器 的 部 分 开始 。 





计数 器 


下 面 的 Counter 模块 是 一 个 简单 的 无 状态 的 actor， 从 Parser 接收 页 
面 ， 并 将 计数 结果 发 送 给 Accumulator : 


Actors/word_count/lib/counter.ex 





Line 1 defmodule 


Counter do 


GenServer.Behaviour 
- def 


start_link do 


- :gen_server.start_link(__MODULE_, nil 


- def 


deliver_page(pid, ref, page) do 


- :gen_server.cast(pid, {:deliver_page, ref, page}) 
- end 


10 def 


init(_args) do 


- Parser.request_page(self()) 
- {:ok, nil 


- end 


15 def 


handle_cast({:deliver_page, ref, page}, state) do 


- Parser.request_page(self()) 


- words = String.split(page) 
- counts = Enum.reduce(words, HashDict.new, fn 


(word, counts) -> 


20 Dict.update(counts, word, 1, &(&1 + 1)) 
- end 


- Accumulator.deliver_counts(ref, counts) 
- {:noreply, state} 
- end 


25 end 





这 段 代码 遵循 了 OTP 服 务 器 的 标准 模式 一 一 首先 是 供 外 部 使 用 的 
API (start_link() 和 deliver page() ) ， 然 后 是 初始 化 函数 
(init() ) ， 最 后 是 消息 处 理 函 数 Chandle_cast()) 。 


Counter 初始 化 时 先 调 用 Parser.request_page() (第 11 行 ) 。 


Counter 每 接收 到 一 个 页 面 ， 首 先 会 申请 下 一 个 页 面 ( 第 16 行 ， 这 样 做 
是 为 了 减少 延迟 ) 。 然 后 统计 当前 页 面 的 词 频 ， 构 造 字 典 counts 来 保 
存 结 果 (第 18~21 行 )。 最 后 将 ref (引用 ref 是 和 页 面 一 起 接收 到 
的 ) 和 计数 结果 发 送 给 Accumulator 。 


利用 CounterSupervisor 可 以 创建 和 管理 多 个 Counter : 





Actors/word_count/lib/counter.ex 





defmodule 


CounterSupervisor do 


use 


Supervisor. Behaviour 
def 


start_link(num_counters) do 


:supervisor.start link( MODULE , num_counters) 
end 


def 


init(num_counters) do 


workers = Enum.map(1..num_counters, fn 


(n) -> 


worker(Counter, [], id: "counter#{n} 


end 


supervise(workers, strategy: :one_for_one) 
end 


CounterSupervisor.init() 的 参数 是 要 创建 的 Counter 的 个 数 ， 也 
是 workers 列表 的 长 度 。 注 意 ， 每 个 工作 线程 worker 都 需要 一 个 唯一 
的 ijd ， 可 以 用 1. .num_counters 构造 id KHE. 


RIAS 


Accumulator 维护 了 两 个 状态 : totals 是 保存 累加 结果 的 字 
典 ; processed pages 是 保存 已 经 处 理 过 的 页 面 所 对 应 的 引用 的 集 


Ho 


Actors/word_count/lib/accumulator.ex 





Line 1 defmodule 


Accumulator do 


- def 


start_link do 


5 :gen_server.start_link({:global, :wc_accumulator}, _ MODULE , 
- {HashDict.new, HashSet.new}, []) 
- end 


- def 


deliver_counts(ref, counts) do 


10 :gen_server.cast({:global, :wc_accumulator}, {:deliver_counts, r 
- end 


- def 


handle_cast({:deliver_counts, ref, counts}, {totals, processed _pages}) do 


Set.member? (processed pages, ref) do 


15 {:noreply, {totals, processed _pages}} 
- else 


- new_totals = Dict.merge(totals, counts, fn 


(_k, v1, v2) -> v1 + v2 end 


- new_processed pages = Set.put(processed pages, ref) 
- Parser. processed(ref) 

20 {:noreply, {new_totals, new_processed_pages}} 
- end 


- end 





这 段 代码 以 { :global，wc_accumulator} 为 参数 调 
用 :gen_server.start link() (第 5 行 ) ， 为 累加 器 创建 了 全 局 名 
称 。 可 以 直接 使 用 全 局 名 称 来 调用 :gen_server .cast() 发 送 消 息 (第 


10 行 ) 。 








“Accumulator 收 到 计数 结果 时 ， 首 先 检查 某 一 页 面 是 否 已 经 被 处 理 
过 〔 稍 后 我 们 会 看 到 Accumulator 可 能 收 到 两 次 同一 页 面 的 计数 结 
果 ， 并 解释 这 个 检查 的 重要 性 ) 。 如 果 页 面 没 有 被 处 理 过 ， 则 使 

用 Dict.merge() 将 该 页 面 的 计数 结果 合并 到 totals 中 ， 并 使 

用 Set.put() 将 该 页 面 的 引用 合并 到 processed_pages ， 最 后 通知 
Parser 该 页 面 已 经 被 处 理 。 


解析 器 与 容错 











解析 器 是 三 种 actor 中 最 复杂 的 ， 我 们 将 逐步 进行 介绍 。 首 先 ， 介 绍 其 对 
外 提供 的 API: 


Actors/word_count/lib/parser.ex 





defmodule 


Parser do 


use 


GenServer.Behaviour 


def 


start_link(filename) do 


:gen_server.start_link({:global, :wc_parser}, _ MODULE , filename, []) 
end 


def 


request_page(pid) do 


:gen_server.cast({:global, :wc_parser}, {:request_page, pid}) 


end 


def 


processed(ref) do 


:gen_server.cast({:global, :wc_parser}, {:processed, ref}) 
end 


end 





Accumulator 相同 ，Parser 也 在 初始 化 时 注册 了 一 个 全 局 名 称 。 它 
提供 了 两 种 操作 一 一 第 一 种 是 request_page() ，Counter 调用 这 个 函 
数 来 请 求 一 个 页 面 ; 第 二 种 是 processed() ，Accumulator 调用 这 个 
函数 来 通知 解析 器 某 页 面 已 经 被 处 理 了 。 


接 下 来 ， 介 绍 这 两 种 操作 的 消息 处 理 函 数 : 


Actors/word_count/lib/parser.ex 





init(filename) do 


xml_parser = Pages.start_link(filename) 
{:ok, {ListDict.new, xml_parser}} 
end 


def 


handle_cast({:request_page, pid}, {pending, xml_parser}) do 


new_pending = deliver_page(pid, pending, Pages.next(xml_parser) ) 
{:noreply, {new_pending, xml_parser}} 
end 


def 


handle_cast({:processed, ref}, {pending, xml_parser}) do 


new_pending = Dict.delete(pending, ref) 


{:noreply, {new_pending, xml_parser}} 
end 





Parser 维护 了 两 个 状态 : 第 一 个 是 pending ， 这 是 一 个 ListDict , 





其 元 素 是 已 经 发 往 Counter 但 没有 被 处 理 的 页 面 的 引用 ; 第 二 个 
是 xml_parser ， 这 是 一 个 actor， 其 使 用 Erlang 的 xmerl 库 8 来 解析 
Wikipedia dump《〈 在 此 不 详 述 其 实现 ， 详 情 可 见 本 书 配套 代码 ) 。 


6 http://www.erlang.org/doc/apps/xmerl/ 


对 :processed 消息 的 处 理 只 需要 从 pending 中 删除 已 被 处 理 的 页 面 。 
对 :request_page 消息 的 处 理 需 要 从 XML 解 析 器 中 获取 下 一 个 可 用 的 
页 面 ， 并 将 页 面 传 给 deliver_page() : 


Actors/word_count/lib/parser.ex 





defp 


deliver_page(pid, pending, page) when 


nil?(page) do 


if 


Enum.empty?(pending) do 


pending # 什么 也 不 做 


else 


{ref, prev_page} = List.last(pending) 

Counter.deliver_page(pid, ref, prev_page) 

Dict.put(Dict.delete(pending, ref), ref, prev_page) 
end 


end 


defp 


deliver_page(pid, pending, page) do 


ref = make_ref() 
Counter.deliver_page(pid, ref, page) 
Dict.put(pending, ref, page) 

end 





这 里 的 deliver_page() 使 用 到 了 一 个 未 介绍 过 的 Elixir 特 性 一 一 卫 语 
AJ (guard clause) ， 在 本 例 中 是 第 一 个 deliver_page() 的 when 子 
句 。 卫 语句 是 一 个 布尔 表达 式 一 一 函数 仅 在 表达 式 为 真 时 有 效 。 


当 page 不 为 空 时 ， 首 先 使 用 make_ref() 创建 一 个 唯一 的 引用 ， 并 将 页 
面 传 给 请 求 页 面 的 counter ， 最 后 将 页 面 添 加 到 pending 中 。 


“page 为 空 时 ， 意 味 着 XML 解析 器 已 经 完成 了 对 所 有 页 面 的 解析 ， 不 
再 提供 新 的 页 面 。 此 时 只 需 将 pending 中 最 老 的 元 素 传 给 Counter ， 并 
中 将 此 页 面 移 出 再 重新 添加 进来 ， 以 保证 其 是 pending 中 最 
THI TUR o 


page 为 空 的 分 支 主 要 是 为 了 确保 pending 中 的 页 面 最 终 都 会 被 处 理 。 
将 这 些 pending 中 的 页 面 再 次 发 给 另 一 个 Counter 有 什么 好 处 吗 ? 


和 牌 了 


这 样 的 好 处 是 提升 了 容错 性 。 如 果 一 个 Counter 崩 沉 、 网 络 故 障 或 者 便 

件 故 障 ， 就 需要 将 其 处 理 的 页 面 发 给 另 一 个 Counter 。 由 于 每 个 页 面 都 

-的 引用 ， 那 就 可 以 分 辨 哪些 页 面 已 经 被 处 理 过 了 ， 从 而 避免 重 
计数 。 











现在 启动 一 个 集群 来 体验 一 下 吧 。 在 一 台 计 算 机 上 启动 一 个 Parser 和 

一 个 Accumulator ， 并 在 其 他 的 一 台 或 几 台 计算 机 上 局 动 几 个 Counter 
。 如 果 拔 挥 某 个 运行 Counter 的 计算 机 的 网 线 ， 或 者 干 挥 其 Erlang 虚 拟 
I ter 将 继续 运行 并 接管 那些 运行 在 故障 计算 机 上 的 
TR o 


这 是 一 个 体现 并 发 分 布 式 程序 的 优点 的 绝 佳 例 子 。 发 生 某 个 便 件 故障 
但 这 个 分 布 式 的 程序 将 季 存 
下 来 。 

PEREA 

我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 对 actor 模 型 的 学 习 。 

第 三 天 我 们 学 到 .了 村 恤 

使 用 Elixir 可 以 创建 多 节点 的 集群 。 一 个 节点 上 的 actor 可 以 向 另 一 个 节 
点 上 的 actor 发 送 消息 ， 与 回 本 节点 的 actor 发 送 消息 没有 什么 区 别 。 使 用 
Elixir 可 以 创建 一 个 分 布 在 多 台 计 算 机 上 的 系统 ， 如 果 其 中 一 台 计 算 机 
月 尝 ， 访 系统 可 以 从 中 恢复 运行 。 

PERA 

查找 


e 观看 Joe Armstrong 在 Lambda Jam 上 的 演讲 : Systems That Run 
Forever Self-Heal and Scale. 


。 什么 是 一 个 OTP 应 用 程序 ? 为 什么 把 它 理解 成 < 组 件 ” 更 加 合适 ? 


。 到 目前 为 止 ， 我 们 使 用 的 actor 的 状态 都 会 在 它 退 出 时 丢失 。Elixir 
古 如 何 实现 持久 状态 的 ? 


实践 
。 对 于 本 节 中 具有 容错 功能 的 词 频 统 计 程 序 ， 如 果 一 个 计数 器 或 相应 


的 计算 机 册 沉 ， 程 友 可 以 继续 运行 下 去 。 但 如 果 一 个 解析 器 或 一 个 
索 加 器 骨 沉 则 不 行 。 修 改 程序 ， 使 其 在 任 一 actor 或 任 一 计算 机 骨 演 

















时 都 可 以 继续 运行 。 


5.5 复习 


Smalltalk 的 设计 者 、 面 向 对 象 编程 之 父 Alan Kay 曾 经 这 样 描述 面向 对 象 
的 本 质 ?: 


7 http://c2.com/cgi/wiki?AlanKayOnMessaging 


很 久 以 前 ， 我 在 描述 “ 面 癌 对 象 编程 ?时 使 用 了 “对 象 " 这 个 概念 。 很 
抱歉 这 个 概念 让 许多 人 误 入 歧途 ， 他 们 将 学 习 的 重心 放 在 了 “对 
象 ” 这 个 次 要 的 方面 。 


真正 主要 的 方面 是 “消息 ”..…… 日 文中 有 一 个 词 ma， 表 示 “ 间 隔 ”， 与 
其 最 为 相近 的 英文 或 许 是 “ interstitial”。 创 建 一 个 规模 宏大 且 可 生长 
的 系统 的 关键 在 于 其 模块 之 间 应 该 如 何 交 流 ， 而 不 在 于 其 内 部 的 属 
性 和 行为 应 该 如 何 表现 。 


这 段 话 也 概括 了 使 用 actor 模 型 进行 编程 的 精 艇 一 一 我 们 可 以 认为 actor 模 
型 是 面 问 对 象 模型 在 并 发 编程 领域 的 扩展 。actor 模 型 精心 设计 了 消息 传 
ee 强调 了 面向 对 象 的 精 稻 ， 可 以 说 actor 模 型 非常 “< 面 癌 
XTR” o 














优点 
actor 有 许多 优 展 的 特性 ， 适 用 于 解决 多 种 并 发 问题 。 
消息 传输 和 封装 





虽然 多 个 actor 可 以 同时 运行 ， 但 它们 并 不 共享 状态 ， 而 且 在 单个 actor 中 
所 有 事件 都 是 串 行 执行 的 。 所 以 关于 并 发 ， 只 需要 关注 于 多 个 actor 之 间 
的 消息 流 即 可 。 


对 开发 人 员 来 说 这 是 个 重大 利好 。 每 个 actor 可 以 被 单独 测试 ， 而 且 当 测 
试 履 关 了 茶 个 actor 的 消息 类 型 和 消息 顺序 时 ， 就 可 以 确定 这 个 actor 非 名 
可 靠 。 如 采 发 现 了 一 个 与 并 发 相关 的 bug， 也 就 知道 重点 应 该 放 在 actor 
之 间 的 消息 流 上 。 

















容错 


使 用 actor 模 型 的 程序 天 生 具 有 容错 性 。 这 不 仅 会 让 程序 更 加 强壮 ， 而 且 
CHIE ie ES) 会 让 代码 更 加 简洁 明了 。 


分 布 式 编程 
n 内 存 模型 ， 也 支持 分 布 式 内 存 模型 ， 这 就 带 来 了 很 多 





首先 ，actor 模 型 几乎 可 以 解决 任何 规模 的 问题 。 我 们 不 需要 将 问题 局 限 
于 用 一 个 系统 解决 。 


其 次 ，actor 模 型 可 以 解决 地 理 分 布 式 问题 。 对 于 不 同 部 分 需要 部 署 在 不 
同 地 理 位 置 的 软件 ，Actor 模 型 是 个 极 佳 的 选择 。 


最 后 ， 分 布 式 是 软件 具有 容错 能 力 的 基石 。 
缺点 


尽管 使 用 actor 模 型 的 程序 比 使 用 线程 与 锁 模 型 的 程序 更 容易 debug， 但 
actor 模 型 仍 会 页 到 死 锁 这 一 类 的 共性 问题 ， 也 会 碰 到 一 些 actor 模 型 独 有 
的 问题 〈 例 如 信箱 溢出 ) 。 


类 似 于 线程 与 锁 模 型 ，actor 模 型 对 并 行 也 没有 提供 直接 文 持 。 需 要 通过 
并 发 的 技术 来 构造 并 行 的 方案 ， 这 样 束 会 引入 不 确定 性 。 而 且 ， 由 于 多 
个 actor 并 不 共 孚 状态 ， 仅 通过 消息 传递 来 进行 交流 ， 所 以 不 太 适 合 实施 
细 粒 度 的 并 行 。 


其 他 语言 


与 许多 伟大 的 思想 一 样 ，actor 模 型 也 由 来 悠久 一 -20 世纪 70 年 代 Carl 
Hewitt 首 次 提出 这 个 模型 。Erlang 无 疑 为 布道 actor 做 了 最 大 的 页 献 。 比 
如 Erlang 的 创始 人 Joe Armstrong 也 是 “ 任 其 骨 溃 ”哲学 的 先 驶 。 


大 部 分 流行 的 编程 语言 都 提供 了 一 太 actor 库 ， 特 别 是 Akka 库 8 为 Java 和 
其 他 运行 于 JVM 的 语言 提供 了 对 actor 模 型 的 支持 。 如 果 想 深入 学 习 
Akka， 建 议 阅读 本 书 的 奖励 章节 ? ， 其 中 描述 了 如 何 用 Scala 进 行 actor 编 

















程 
Eo 
8 http://akka.io 
9 http://media.pragprog.com/titles/pb7con/Bonus_Chapter.pdf 


+F. 
结 Wa 





actor 模 型 是 应 用 最 广泛 的 编程 模型 之 一 不 仅 提供 了 并 发 文 持 ， 还 文 
持 分 布 式 、 错 误 检 测 和 容错 。 当 面 对 越 来 越 大 的 分 布 式 需求 时 ， 该 模型 
是 解决 问题 的 绝 佳 选择 。 


下 一 章 我 们 将 学 习 通 信 顺 序 进程 (Communicating Sequential Processes, 
CSP) 。 虽 然 CSP 模 型 看 上 去 类 似 于 actor 模 型 ， 但 区 别 在 于 : actor 模 型 
的 重点 在 于 参与 交流 的 实体 ， 而 CSP 模 型 的 重点 在 于 用 于 交流 的 通道 。 
因此 使 用 CSP 模 型 将 是 另 一 番 体 验 。 


第 6 章 通信 和 顺序 进程 


如 果 你 和 我 一 样 是 个 车 迷 ， 很 可 能 只 会 关注 车 辆 本 号 ， 而 忽略 了 它 所 要 
行驶 的 道路 。 大 家 都 在 唆 唆 不 休 地 争论 涡轮 增 压 与 目 然 吸 气 训 优 讨 劣 ， 
让 中 置 发 动机 布局 与 前 置 发 动机 布局 一 较 遍 下 ， 却 未 记 了 最 重要 的 方面 
其 实 与 车 辆 本 里 无 关 。 你 能 去 往 何方 、 能 多 快 到 达 目 的 地 ， 首 要 的 决定 
因 系 是 道路 网 络 而 不 是 车 辆 本 里。 


消息 传递 系统 (message-passing system) 与 之 类 似 ， 决 定 其 特性 和 功能 
De te ERE 的 代码 或 者 消息 的 内 容 ， 而 是 消息 的 传 
输 通道 。 


本 章 我 们 所 考察 的 模型 表面 上 与 actor 模 型 相似 ， 但 由 于 其 侧重 点 不 同 ， 
所 以 有 着 很 大 的 差别 。 























6.1 万物 旨 通信 


如 上 一 章 所 述 ， 使 用 actor 模 型 的 程序 是 由 独立 的 、 并 发 执行 的 实体 〈 称 
为 actor，Elixir 中 称 为 进程 ) 组 成 的 ， 这 些 实体 之 间 通 过 发 送 消 息 进 行 
通信 。 每 个 actor 都 有 一 个 信箱 ， 用 于 保存 已 经 收 到 但 尚未 被 处 理 的 消 
与 actor 模 型 类 似 ， 通 信 顺 序 进程 (Communicating Sequential Processe, 
CSP) 模型 也 是 由 独立 的 、 并 发 执行 的 实体 所 组 成 ， 实 体 之 间 也 是 通过 
发 送 消息 进行 通信 。 但 两 种 模型 的 重要 差别 是 : CSP 模 型 不 关注 发 送 消 
奶 的 实体 ， 而 是 关注 发 送 消 息 时 使 用 的 channel (通道 ) 。channel 是 第 
一 类 对 象 ， 它 不 像 进 程 那 样 与 信箱 是 紧 耦 合 的 ， 而 是 可 以 单独 创建 和 读 
写 ， 并 在 进程 之 间 传 递 。 


与 函数 式 编程 和 actor 模 型 类 似 ，CSP 模 型 也 是 正在 复兴 的 古董 。 由 于 近 
来 Go 语言 1 的 兴起 ，CSP 模 型 又 流行 起 来 。 我 们 将 通过 core.async Æ? 
来 介绍 CSP 模 型 ， 这 个 库 将 Go 的 并 发 模型 引入 了 Clojure。 





1 http://golang.org 


2 http://clojure.com/blog/2013/06/28/clojure-core-async-channels.html 





第 一 天 ， 我 们 将 学 习 构 建 core.async 库 的 两 大 基石 : channel 和 go 块 。 
第 二 天 ， 使 用 这 些 知 识 构建 一 个 有 现实 意义 的 例子 。 第 三 天 ， 学 习 如 何 
在 ClojureScript 中 使 用 core.async 来 简化 客户 端 编程 。 


6.2 第 一 天 : channel 和 go 块 


core.async 提供 了 两 个 主要 的 工具 一 一 channel 和 go 块 。 在 大 小 有 限 的 
线程 池 中 ，go 块 允许 多 个 并 发 任务 复 用 线程 资源 。 现 在 还 是 先 来 看 看 


channel. 
使 用 core .async 库 


在 Clojure 语 言 中 ，core.async 库 的 资历 较 浅 ， 且 仍 处 于 预 发 布 阶 
段 〈 因 此 需要 留意 可 能 发 生 的 变化 ) 。 要 使 用 这 个 库 ， 你 需要 为 项 
目 添加 依赖 并 导入 core.async 。 由 于 core.async 库 定义 的 一 些 
冰 数 名 与 Clojure 核 心 库 的 函数 名 冲突 ， 添 加 依赖 和 导入 库 往 往 较为 
繁复 。 为 简单 起 见 ， 你 可 以 使 用 本 书 配 套 代码 中 的 channel 项 目 ， 它 
是 这 样 导 入 core.async 库 的 : 











CSP/channels/src/channels/core.clj 


channels.core 
(:require [clojure.core.async :as async :refer :all 
:exclude [map into reduce merge partition partition-by take 









通过 指定 :refer :all ， 大 多 数 core .async 库 的 函数 可 以 直接 使 





用 ， 但 还 有 一 部 分 (函数 名 与 核心 库 函 数 名 冲突 的 函数 ) 必须 通过 
使 用 async/ 前 级 才能 调用 。 


切换 到 channel 项 目下 ， 直 接 运 行 ]ein repl ， 就 可 以 运行 一 个 
REPL， 其 中 已 经 加 载 了 core.async 库 的 函数 定义 。 





Channel 


-> 











一 个 channel 就 是 只 要 持 

引用 ， 惑 可 以 同一 端 深 加 消息 ， 也 可 以 从 另 eT 在 actor 模 型 
中 ， 消 息 是 从 指定 的 一 人 actor 发 往 指 定 的 另 一 个 actor 的 ; 与 之 不 同 ， 使 
用 channel 友 送 消息 时 发 送 者 并 不 知道 谁 是 接收 者 ， 反 之 亦 然 。 


通过 chan 函数 可 以 创建 新 的 channel: 


channeLs.core=> 


(def c (chan) 


) 


#'channels.core/c 





使 用 >!! 可 以 网 channel 中 写 入 消息 ， 使 用 544 可 以 从 channel 中 读 出 消 
忆 : 
channels.core=> 


(thread (println "Read:" (<!! c) "from c")) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@78fc 
channels.core=> 


(>!! c "Hello thread") 


Read: Hello thread from c 
nil 





这 段 代 码 使 用 了 core.async 提供 的 thread 辅助 宏 ， 这 个 宏 会 将 其 中 


的 代码 运行 在 一 个 单独 的 线程 上 。 这 个 线程 将 会 输出 从 channel 中 读 出 的 
消息 。 不 过 首先 它 会 阻塞 ， 直 到 调用 >!11! 辐 channel 中 写 入 消息 ， 然 后 我 
们 才 会 看 到 输出 。 


绥 存 区 
默认 情况 下 ，channel 是 同步 的 (或 称 无 缓存 的 ) 一 一 一 个 任务 问 


channel 写 入 消息 的 操作 会 一 直 阻 蹇 ， 直 到 另 一 个 任务 从 channel 中 读 出 
消息 : 





channeLs.core=> 


(thread (>!! c "Hello") (printin "Write completed") ) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@78fc 


channeLs.core=> 


Write completed 
"Hello" 





如 果 问 chan 函数 传 入 缓存 区 的 大 小 ， 就 可 以 创建 一 个 有 绥 存 的 


channel: 





channeLs.core=> 


(def bc (chan 5)) 


#'channels.core/bc 
channeLs.core=> 


(>!! be @) 


nil 
channeLs.core=> 


(>!! be 1) 


nil 
channeLs.core=> 


(close! bc) 


nil 
channeLs.core=> 


(<!! bc) 


0 
channeLs.core=> 


(<!! be) 


1 
channeLs.core=> 


(<!! bc) 





IPS GES —-Schannel, RAG KA WAAASA IE. “4channel 
METXA EA 2 TAI A) CAS AE SI BRE SS Zl SE, = ANSE 


as 
X [4] channel 


上 面 的 代码 还 展示 了 channel 的 另 一 个 特性 可 以 通过 close! 关闭 
channel。 从 已 经 天 闭 的 空 的 channel 中 读 出 消息 ， 将 得 到 nil ; 问 已 经 关 
闭 的 channel 写 入 消息 ， 该 消息 将 默默 地 被 弃 用 。 如 你 所 料 ， 癌 channel 
中 写 入 nil 将 发 生 错 误 : 





channeLs.core=> 


(>!! (chan) nil) 





IllegalArgumentException Can't put nil on channel «...» 


下 面 的 函数 将 运用 我 们 已 学 的 知识 ， 不 断 地 从 channel 中 读 出 消 妃 ， 直 到 
channel 补 关闭。 函数 将 以 数组 形式 返回 读 到 的 所 有 内 容 : 


CSP/channels/src/channels/core.clj 


(defn 


readall!! [ch] 
(loop 


[coll []] 
(if-let 


[x (<!! ch)] 
(recur 


(conj 


coll x)) 
coll))) 





在 上 面 的 代码 中 ，col1l 的 初始 值 是 空 数组 [] 。 每 次 循环 将 从 ch 中 读 出 
一 个 值 ， 如 果 读 出 的 值 不 是 nil ， 就 将 其 添加 到 col1l P; 如 果 读 出 的 
值 是 nil (channel 已 经 被 天 闭 ) ， 函 数 将 返回 coll 。 


下 面 是 writeall!1 函数 ， 其 接受 一 个 channel 和 一 个 数组 ， 将 数组 的 所 
有 值 写 入 channel， 并 在 写 入 完成 后 关闭 channel: 


CSP/channels/src/channels/core.clj 





(defn 


writeall!! [ch coll] 
(doseq 


[x coll] 
(>!! ch x)) 


(close! ch)) 
来 测试 一 下 这 几 个 函数 : 


channeLs.core=> 


(def ch (chan 1@)) 


#'channels.core/ch 
channeLs.core=> 


(writeall!! ch (range © 10)) 


nil 
channeLs.core=> 


(readall!! ch) 


[90123456789] 





你 肯定 料 到 了 core.async 会 提供 具有 类 似 功 能 的 辅助 函数 ， 这 样 我 们 
就 不 用 目 己 创建 这 些 函 数 了 : 





channeLs.core=> 


(def ch (chan 10)) 


#'channels.core/ch 
channeLs.core=> 


(onto-chan ch (range © 10)) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@6b16 
channels. core=> 


(<!! (async/into [] ch)) 


[0123456789] 





onto-chan 水 数 用 于 将 集合 中 的 所 有 内 容 写 入 channel， 并 在 写 入 完成 
时 关闭 channel。async/into 函数 接受 一 个 初始 集合 〈 上 例 中 是 空 

合 ) 和 一 个 channel， 并 返回 一 个 channel。 返 回 的 channel 中 的 元 素 是 一 
人 这 个 集合 由 初始 集合 和 从 输入 的 channel 中 读 出 的 所 有 元 素 合 并 
而 成 。 


下 面 我 们 将 使 用 这 些 辅助 函数 进一步 讨论 有 缓存 区 的 channel。 
BAF IX Cpa ET A) SR 


默认 情况 下 ， 向 一 个 绥 存 区 已 满 的 channel 中 写 入 消息 将 会 被 阻塞 。 但 我 
们 也 可 以 选择 其 他 策略 ， 通 过 向 chan 函数 传 入 缓存 区 来 实现 ; 








channeLs.core=> 


(def dc (chan (dropping-buffer 5))) 


#'channels.core/dc 
channeLs.core=> 


(onto-chan dc (range @ 10)) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@147c 
channels. core=> 


(<!! (async/into [] dc)) 


[Ə 1 2 3 4] 





这 段 代 码 创 建 了 一 个 channel， 其 使 用 一 个 缓存 区 容量 为 5 的 dropping- 

buffer 。 我 们 将 数字 0~9 写 入 channel， 虽 然 channel 的 缓存 区 不 能 容纳 

这 么 多 数字 ， 但 并 没有 阻塞 。 如 果 读 出 channel 中 所 有 的 数字 ， 职 会 发 现 
只 有 5 个 数字 一 一 后 面 的 数字 被 弃 用 了 。 


Clojure 还 提供 了 sliding-buffer : 











channeLs.core=> 


(def sc (chan (sliding-buffer 5))) 


#'channels.core/sc 
channeLs.core=> 


(onto-chan sc (range © 10)) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@3071 


channeLs.core=> 


(<!! (async/into [] sc)) 





与 之 前 一 样 ， 这 段 代 码 创 建 了 一 个 容量 为 5 的 channel， 但 这 次 使 用 的 
是 sliding-buffer 。 如 果 读 出 channel 中 所 有 的 数字 ， 会 发 现 输出 的 是 
最 后 写 入 的 5 个 数字 一 也 就 是 说 ， 回 一 个 绥 存 区 已 满 的 channel 中 写 入 
数据 ，sliding-buffer 将 会 弃 用 之 前 写 入 的 数据 。 稍 后 我 们 还 会 更 详 
race 下 面 先 来 看 看 core .async 的 另 一 个 主要 特性 一 一 go 
H, 


小 乔 爱 问 : 
为 什么 没有 容量 自动 增 大 的 缓存 区 ” 


我 们 已 经 学 习 了 core.async 库 提供 的 全 部 三 种 绥 存 区 类 型 一 一 阻 
ÆA! (blocking) 、 弃 用 新 值 型 (dropping〉 和 移出 旧 值 型 
(sliding) 。 从 感觉 上 说 ， 如 果 绥 存 区 能 按 需 增加 容量 ， 那 也 是 很 
合理 的 。 为 什么 core .async 库 没 有 提供 这 样 的 缓存 区 类 型 ? 


其 中 的 原因 是 个 老生 常 谈 的 话题 ， 即 便 你 有 一 个 现在 看 上 去 “ 永 不 
村 竟 * 的 资源 ， 总 有 一 天 这 个 资源 还 是 会 被 用 尽 。 可 能 是 因为 时 过 
境 迁 ， 当 初 的 程序 需要 解决 更 大 规模 的 问题 ;也 可 能 是 因为 存在 一 
个 bug， 消 妃 没 有 被 及 时 处 理 ， 从 而 导致 堆积 。 


如 果 你 放弃 思考 相应 的 对 策 ， 那 未 来 的 某 个 时 间 就 有 可 能 出 现 一 个 
人 破坏 性 极 强 、 隐 蔽 极 深 且 难以 诊断 的 bug。 实 际 上 ， 让 进程 的 信箱 
溢出 ， 是 让 Erlang 系 统 全 面 月 演 的 为 数 不 多 的 方法 之 一 * 。 最 好 的 














集 略 是 在 现在 就 思考 如 何 处 理 缓存 区 被 塞 满 的 情况 ， 将 问题 消灭 在 
HFRS. 


a. http://prog21.dadgum.com/43.html 


go 块 


线程 启动 和 运行 时 都 有 一 定 开 销 ， 这 正 是 现在 的 程序 都 避免 直接 创建 线 
程 、 转 而 使 用 线程 池 (参见 2.4 节 的 “创建 线程 之 终极 版 ”部 分 的 原因 。 
实际 上 ， 我 们 在 以 前 的 例子 中 见 过 的 thread 宏 内 部 也 使 用 了 
CachedThreadPool 。 


然而 线程 池 并 不 总 是 适用 。 尤 其 是 当 程 序 阻塞 时 ， 使 用 线程 池 可 能 会 造 
成 麻烦 。 


阻塞 带 来 的 问题 


线程 池 技术 是 处 理 CPU 密集 型 任务 的 利 需 一 一 任务 进行 时 会 占用 茶 个 线 
程 ， 任 务 结束 后 将 线程 返还 给 线程 池 ， 使 线程 可 以 被 复 用 。 但 涉及 线程 
通信 时 使 用 线程 池 是 否 仍 然 合适 呢 ?如 果 线 程 被 阻 窒 ， 那 么 它 将 无 限期 
被 占用 ， 这 就 削弱 了 使 用 线程 池 技 术 的 优势 。 


这 种 问题 是 有 一 些 解 决 方 采 的 ， 但 它们 通常 会 对 代码 风格 加 以 限制 ， 使 
之 变 成 事件 驱动 的 形式 。 事 件 驱 动 是 一 种 编程 风格 ， 对 于 从 事 UI 编 程 
或 事件 类 服务 器 编程 的 程序 员 来 说 一 定 不 陌生 。 

里 然 这 些 方 采 都 能 解决 问题 ， 但 它们 破坏 了 控制 流 的 自然 的 表达 形式 ， 
让 代码 变 得 难以 阅读 和 理解 。 更 糟糕 的 是 ， 这 些 方案 还 会 大 量 使 用 全 局 
状态 ， 因 为 事件 处 理 器 需要 保存 一 些 数据 ， 以 便 之 后 的 事件 处 理 器 使 

用 。 我 们 已 经 学 习 过 这 个 结论 : 状态 和 并 发 最 好 不 要 混用 。 


go 块 提供 了 一 种 两 全 其 美的 解决 方案 一 一 既 可 以 写 出 事件 驱动 的 代码 来 
解决 目前 碰 到 的 阻塞 问题 ， 又 可 以 不 牺牲 代码 的 结构 性 和 可 该 性 。 其 原 
理 是 go 块 在 底层 将 串 行 化 代码 透明 地 重 写成 了 事件 驱动 的 形式 。 
控制 反 转 


与 其 他 Lisp 方 言 类 似 ，Clojure 有 一 套 强 大 的 宏 系 统 。 如 果 你 用 过 其 他 语 














言 的 宏 系统 (比如 C/C++ 中 的 预 处 理 器 宏 ) ， 就 会 觉得 Lisp 的 宏 系统 更 
像 是 魔法 ， 它 可 以 进行 神奇 的 代码 变换 。go 宏 束 是 其 中 一 个 小 魔法 。 
go 块 中 的 代码 会 被 转换 成 一 个 状态 机 。 当 从 channel 中 读 出 消息 或 向 
channel 中 写 入 消息 时 ， 状 态 机 将 暂停 ， 并 释放 它 所 占用 的 线程 的 控制 
权 。 当 代码 可 以 继续 运行 时 ， 状 态 机 进行 一 次 状态 转换 ， 并 可 能 在 另 一 
个 线程 中 继续 运行 。 


通过 这 样 的 控制 反 转 ，core.async 运行 时 可 以 在 有 限 的 线程 池 中 高 效 
地 运行 许多 go 块 。 我 们 先 来 看 一 个 例子 ， 稍 后 再 看 看 到 底 有 多 人 么 高 效 。 


状态 机 暂停 
下 面 是 使 用 go 块 的 一 个 例子 : 





channeLs.core=> 


(def ch (chan)) 


#'channels.core/ch 
channeLs.core=> 


(go 


# => (let [x (<! ch) 


# => y (<! ch)] 


# => (println "Sum:" (+ x y)))) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@13ac 
channels. core=> 


(>!! ch 3) 


nil 
channeLs.core=> 


(>!! ch 4) 


nil 
Sum: 7 





这 段 代 码 首 先 创 建 了 一 个 channel ch 。 然 后 创建 了 一 个 go 块 ， 用 来 从 ch 
中 读 取 两 个 值 ， 并 输出 两 个 值 的 和 。 虽 然 看 上 去 go 块 从 channel 中 读 取 数 
据 时 应 当 阻 塞 ， 实 际 上 却 发 生 了 有 趣 的 事情 。 


这 段 代 码 并 没有 用 <14 从 channel 中 读 取 数据 ， 而 是 使 用 了 <! 。 单 个 叹 
Se 意味 看 本 次 恋 channel 是 进行 芹 信 操作 ， 而 不 是 进行 阻塞 操作 。 同 
理 ，>! 是 >11 的 暂停 版 本 3 。 
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一 一 译 者 注 




















如 图 6-1 所 示 ，go 块 将 串 行 的 代码 转换 成 有 3 个 状态 的 状态 机 。 






输出 结果 






图 6-1 串 行 代码 对 应 的 状态 机 
该 状态 机 包括 以 下 3 个 状态 : 


1. 初始 状态 会 直接 暂停， 等 待 ch 中 有 数据 可 以 被 读 取 。 满 足 条 件 时 ， 
状态 机 进入 状态 2。 


2. 状态 机 首先 将 从 ch 中 读 取 的 值 绑 定 到 x 上 ， 人 然后 和 暂停， 等待 ch 中 下 
一 个 可 以 被 读 取 的 数据 。 满 足 条 件 时 ， 状 态 机 进入 状态 3。 


3. 状态 机 将 从 ch 中 读 取 的 值 绑 定 到 y 上 ， 输 出 结果 ， 并 终止 。 
小 乔 爱 问 : 
如 果 go 块 中 发 生 阻 塞 呢 ? 
如 果 go 块 中 使 用 了 一 个 阻塞 函数 ， 比 如 <!4 ， 那 么 当前 运行 的 线程 
会 被 阻 守 。 虽 然 代 码 的 正确 性 不 会 受到 影响 《〈 不 过 ， 如 果 阻 于 了 足 
够 多 的 线程 ， 会 因为 没有 可 运行 的 线程 而 陷入 死 锁 ) ， 但 是 这 样 做 


iA SP sR AR. WRI SRE, KDE EES, 
也 就 是 说 你 要 保证 使 用 了 正确 的 函数 。 











得 到 警告 


channels.core=> 


AssertionError Assert failed: <! used not in (go ...) block 
nil clojure.core.async/<! (async.clj:83) 


go 块 的 成 本 很 低 
go 块 的 意义 主要 在 于 其 效率 。 与 使 用 线程 不 同 ， 使 用 go 块 的 成 本 很 低 ， 





因此 可 以 创建 很 多 go 块 而 不 用 担心 耗 尽 资源 。 这 看 上 去 是 个 小 小 的 改 
进 ， 但 实际 上 ， 不 用 担心 资源 而 能 随意 创建 并 发 任务 有 着 革命 性 的 意 
dhe 


你 也 许 注意 到 了 go 返回 的 是 一 个 channel (thread 也 是 返回 channel) 。 
go 块 运行 完成 时 会 将 结果 写 到 这 个 channel 中 : 





channeLs. core 


=> (<!! (go (+ 3 4))) 





oe 的 函数 会 创建 大 量 go 块 ， 从 结果 可 以 看 出 go 块 的 成 本 是 很 
RE: 


CSP/channels/src/channels/core.clj 


go-add [x y] 
(<!! (nth 


(iterate 


#(go (inc 


(<! %))) (go x)) y))) 


这 个 函数 可 能 是 “世界 上 最 低 效 的 加 和 函数 ”了 。 它 创建 了 y 个 go 块 形成 





的 流水 线 ， 其 中 每 一 个 go 块 都 将 其 参数 加 1。 
来 分 析 一 下 其 工作 过 程 的 每 个 阶段 : 
1. 匿名 函数 #(go (inc (<! gol, 这 个 go 块 接受 一 个 


channel， 从 中 读 出 一 个 值 ， 并 返回 一 个 channel (其 中 包含 了 递增 后 的 
值 ); 

2. 上 述 匿 名 函数 被 传 给 iterate ，iterate EH WIHA (go x) 
(这 个 channel 中 只 包含 x ) 。 回 忆 一 下 ，iterate 会 返回 如 下 形式 的 懒 


WAH: (x (Fx) (f (f x)) (f (F (f x))) ...); 


3. 使 用 nth 读 出 上 述 数 组 中 第 y 个 元 素 ， 这 是 一 个 channel， 其 中 的 值 是 
将 x 递增 y 次 的 结果 ; 


4. 使 用 <!11 从 上 述 channel 中 读 出 结果 。 
来 测试 一 下 这 段 代 码 : 





channels.core=> 


(time (go-add 10 16)) 


"Elapsed time: 1.935 msecs" 
20 
channels. core=> 


(time (go-add 10 10@@)) 


"Elapsed time: 5.311 msecs" 
1010 
channels.core=> 


(time (go-add 10 100@@@) ) 


"Elapsed time: 734.91 msecs" 
100010 





可 以 看 到 ， 创 建 并 运行 100 000 个 go 块 需要 花费 3/4 秒 。 这 意味 着 go 块 的 
性 能 比 起 Elixir 的 进程 毫 不 逊色 一 -这 个 成 绩 非常 优秀 ， 因 为 Elixir 运 行 
在 以 并 发 性 能 为 设计 主旨 的 Erlang 虚 拟 机 中 ， 而 Clojure 却 是 运行 在 JVM 
中 。 








我 们 已 经 学 习 了 channel 和 go 块 这 两 种 技术 ， 现 在 可 以 将 两 者 结合 使 用 ， 
构造 出 更 复杂 的 channel 操 作 。 


在 channel 上 进行 操作 


如 果 你 感觉 channel 与 数组 有 些 相 像 ， 那 你 并 没有 错 。 与 数组 类 似 ， 
channel 代 表 了 一 系列 有 序 的 值 ， 我 们 可 以 将 一 些 高 级 函数 施加 在 





channel 中 的 全 部 元 素 上 比如 map 函数 、filter 函数 等 ， 我 们 还 可 
以 将 这 些 函 数 串 联 起 来 ， 构 建 复杂 的 操作 。 
Æ channel 上 进行 映射 


下 面 是 channel 版 的 map 函数 : 


CSP/channels/src/channels/core.clj 





(defn 


map-chan [f from] 
(let 


[to (chan) ] 
(go-loop [] 


(when- let 


[x (<! from) ] 
(>! to (f x)) 
(recur 


)) 


(close! to)) 
to)) 





这 个 函数 接受 一 个 函数 f 和 一 个 源 channel from. Fi, ERASE E 
ne bo to 将 作为 函数 的 返回 值 。 然 后 ， 使 用 go-loop 
创建 一 个 go 块 ，go-1loop 是 一 个 辅助 函数 ， 等 价 于 (go (loop ...)) 
。 循 环 体 中 使 用 when-let 从 from 中 读 出 值 并 绑 定 到 x 上 。 如 果 x 不 
Anull, Wwhen-let 中 的 代码 会 被 执行 ，(f x) 将 被 写 入 to 中 ， 并 
且 循 环 会 继续 进行 。 如 果 x null, to 会 被 关闭 。 


测试 一 下 这 个 函数 : 





channeLs.core=> 


(def ch (chan 10)) 


#'channels.core/ch 
channeLs.core=> 


(def mapped (map-chan (partial * 2) ch)) 


#' channels.core/mapped 
channels. core=> 


(onto-chan ch (range © 10)) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@9f3d 
channels. core=> 


(<!! (async/into [] mapped) ) 


[0 2 4 6 8 10 12 14 16 18] 





按照 惯例 ，core.async 提供 了 类 似 于 map-chan 的 函数 map< 。 它 还 提 
E 的 channel 版 filter< ~ mapcat ea i napeae , 


”我 们 还 可 以 组 合 使 用 这 些 函数 ， 串 联 成 一 个 channel 的 处 理 链 ， 


channeLs.core=> 


(def ch (to-chan (range © 10))) 


#'channels.core/ch 
channeLs.core=> 


(<!! (async/into [] (map< (partial * 2) (filter< even? ch)))) 





[Ə 4 8 12 16] 


上 面 这 段 代 码 使 用 了 core.async 提供 的 另 一 个 辅助 函数 to-chan ， 其 


创建 并 返回 一 个 channel， 这 个 channel 中 包含 了 输入 数组 中 的 所 有 元 
素 ， 在 数组 中 的 元 素 用 尺 后 这 个 channel 会 关闭 。 


现在 来 做 一 个 有 趣 的 试验 ， 以 此 为 第 一 天 的 学 习 做 个 结尾 。 


并 发 版 本 的 埃 氏 簿 


我 们 现在 来 实现 一 个 并 发 版 本 的 埃 氏 往 4 get-primes 函数 会 返回 一 
个 channel， 其 中 包含 了 1imit 以 内 (limit ) 的 所 有 素数 〈 从 小 到 大 


排列 ) : 








4 埃 拉 托 斯 特 尼 (Eratosthenes) 得 法， 


CSP/Sieve/src/sieve/core.clj 


fil PER ERE 








是 一 种 检定 素数 的 简易 算法 。 一 一 译 者 注 








(defn 


factor? [x y] 
(zero? 


(mod 


y x))) 


(defn 


get-primes [limit] 
(let 


[primes (chan) 
numbers (to-chan (range 


2 limit))] 
(go-loop [ch numbers] 
(when- let 


[prime (<! ch)] 
(>! primes prime) 
(recur 


(remove< (partial 


factor? prime) ch))) 
(close! primes)) 
primes) ) 








稍 后 将 简要 介绍 这 段 代 码 的 工作 原理 (建议 你 先 自己 整理 一 下 思路 一 一 
所 有 必要 的 知识 之 前 都 已 经 介绍 过 了 ) 。 我 们 还 是 先 来 验证 一 下 其 正确 
性 。 下 面 的 main 函数 会 调用 get-primes ， 并 输出 其 返回 的 channel 中 
的 所 有 值 : 


CSP/Sieve/src/sieve/core.clj 





(defn 


-main [limit] 
(let 


[primes (get-primes (edn/read-string limit) ) ] 
(loop [] 


(when- let 


[prime (<!! primes) ] 
(printin 


prime) 
(recur 





运行 一 下 ， 会 得 到 以 下 结果 : 


$ lein run 100000 





现在 来 介绍 get-primes 的 工作 原理 。 首 先 ， 创 建 一 个 channel primes 
, primes 将 作为 函数 的 返回 值 。 然 后 ， 进 入 循环 ，ch 的 初始 值 
是 numbers ，to-chan 负责 将 从 2 到 1imit 之 间 的 整数 写 入 numbers 。 





首先 ， 循 环 从 ch 中 读 取 第 一 个 元 素 ， 这 个 元 素 肯 定 是 素数 〈 之 后 会 解 
释 原因 ) ， 所 以 将 被 写 入 primes 。 然 后 ， 进 入 下 一 轮 循环 ， 与 第 一 轮 
循环 不 同 的 是 ch 的 值 变 为 (remove< (partial factor? prime) ch) 
的 结果 。 


remove< 水 数 类 似 于 filter< ， 区 别 在 于 它 返 回 一 个 channel， 其 中 只 
的 值 。 在 本 例 中 ， 这 排除 了 以 上 一 轮 认定 的 素数 为 因 
子 的 所 有 数 。 


综 上 所 述 ，get-primes 创建 了 一 个 channel 的 流水 线 。 第 一 个 channel 包 
含 从 2 到 1imit 的 所 有 整数 ， 第 二 个 channel 排 除了 以 2 为 因子 的 所 有 整 
数 ， 第 三 个 channel 排 除了 以 3 为 因子 的 所 有 整数 ， 以 此 类 推 (如 图 6-2 所 
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(remove< (factor? 2 ...) ...) 








2 [3] [s [s F Te [e boim peksis] shr seleoler llesle4 26] 





(remove< (factor? 3 ...) ...) 
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(remove< (factor? 5 ...) ...) 

















[5] E] 


图 6-2 FEMER KIN 

硕 望 大 家 不 要 误会 ， 上 面 这 个 例子 并 不 是 实现 并 行 埃 氏 筛 的 最 佳 方法 
它 为 了 演示 功能 而 滥用 了 channel。 不 过 这 很 好 地 演示 了 如 何 将 
channel 组 合 在 一 起 实现 某 种 特定 的 通信 模式 。 

FRAG 

第 一 天 的 学 习 即 将 结束 。 第 二 天 将 学 习 如 何 从 多 个 channel 中 读 出 数据 ， 
以 及 如 何 用 channel 和 go 块 构造 IO 密集 型 的 程序 。 


第 一 天 我 们 学 到 了 什么 











core.async 的 两 大 基石 是 channel 和 go 块 : 


。 默认 情况 下 ，channel 是 同步 的 (无 缓存 的 ) 一 一 同一 个 channel 写 
DSC AT RAPS — ELSES 直到 男 一 个 任务 从 channel 中 读 出 消 








e channel 也 可 以 是 有 绥 存 的 。 在 缓存 区 已 满 时 可 以 使 用 不 同 的 绥 存 策 
Hs 阻塞 型 (blocking) 、 弃 用 新 值 型 〈dropping) 和 移出 旧 值 型 
(sliding) ; 


。 通过 控制 反 转 ，go 块 将 串 行 代码 重 写成 一 个 状态 机 。go 块 不 会 进行 
= 而 是 暂停 状态 机 ， 这 样 当 前 所 处 的 线程 就 可 以 为 为 一 个 go 块 
FAs 


。 channel #@/E FY BA 28 WAS PR B44 ce VAIS (11 ) 结尾 ， 而 
和 暂停 版 本 的 函数 名 是 以 一 个 感叹 号 《〈! ) 结尾 。 


第 一 天 目 习 
ARR 


e 阅读 core .async 的 官方 文档 。 








e 观看 Timothy Baldridge 的 视频 教程 <Core Async Go Macro 
Internals”， 或 阅读 Huey Petersen 的 博文 “The State Machines of 
core.async"”。 这 两 篇 文献 都 描述 了 go 宏 是 如 何 实现 控制 反 转 的 。 


实践 


e 本 市 的 map-chan 创建 并 返回 了 一 个 同步 的 〈 无 缓存 的 ) channel。 
如 果 其 使 用 一 个 有 绥 存 的 channel 会 发 生 什 么 ? 哪 一 种 选择 更 好 ? 什 
么 情况 下 适用 有 缓存 的 channel? 


e core.async 不 仅 提供 了 map< ， 还 提供 了 map> 。 这 两 者 有 什么 区 
AN? 莹 试 自 己 实现 一 个 map> 。map< 和 map> 分 别 适 用 于 什么 场 
FA. 


E? 





e 实现 一 个 基于 channel 的 并 行 map 函 数 〈 类 似 于 Clojure 中 的 pmap eé 
数 ， 或 者 类 似 于 在 前 面 章节 中 用 Elixir 实 现 的 并 行 map 函 数 ) 。 


63 第 二 天 : 多 个 channel 与 IO 


今天 将 学 习 如 何 使 用 core.async 库 ， 让 异步 IO 的 处 理 变 得 简洁 易 懂 。 
在 此 之 前 ， 需 要 先 了 解 一 个 之 前 没有 提 及 的 特性 一 一 如 何 同时 处 理 多 个 


channel. 





Ab HE 7s channel 


到 目前 为 止 ， 我 们 在 某 个 时 间 仅 处 理 一 个 channel， 但 我 们 能 做 的 并 不 仅 
RFH. Halt! 宏 可 以 处 理 多 个 channel: 





channeLs.core=> 


(def ch1 (chan)) 


#'channels.core/chi 
channeLs.core=> 


(def ch2 (chan)) 


#'channels.core/ch2 
channeLs.core=> 


(go-loop [] 


# => (alt! 


# => chi ([x] (println "Read" x "from channel 1")) 


# => ch2 ([x] (println "Twice" x "is" (* x 2)))) 


# => (recur)) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@d8fd 
channels. core=> 


(>!! ch1 "foo") 


Read foo from channel 1 
nil 
channeLs.core=> 


(>!! ch2 21) 


Twice 21 is 42 
nil 





这 段 代 码 中 ， 首 先 创 建 了 两 个 channel: chi 和 ch2 ， 然 后 创建 了 一 个 go 
块 ， 其 会 不 断 循环 并 使 用 alt! 从 两 个 channel 中 读 取 数据 。 如 果 能 从 
chi 中 读 取 数据 ， 那 么 将 数据 直接 输出 ; 如果 能 从 ch2 中 读 取 数 据 ， 那 
么 将 数据 翻 倍 后 再 输出 。 





从 这 段 代码 中 很 容易 就 能 理解 alt1! 宏 的 工作 原理 一 一 它 接受 成 对 的 参 
数 ， 每 对 的 第 一 个 参数 是 一 个 channel， 第 二 个 参数 是 一 段 代 码 ， 从 
channel 中 读 出 数据 后 将 执行 这 段 代 码 。 在 本 例 中 ， 这 段 代 码 看 上 去 像 是 
一 个 匿名 函数 ， 从 channel 中 读 出 的 值 被 赋 给 x ， 并 通过 println 输出 。 
但 它 实 质 上 并 不 是 匿名 函数 一 一 它 没 有 使 用 fn 构造 匿名 函数 。 


这 就 是 Clojure 的 宏 系 统 施加 的 男 一 个 麻 法 ， 比 起 使 用 匿名 函数 ，alt! 
宏 的 这 种 用 法 显得 更 简洁 高 效 。 
小 乔 爱 问 : 
如 果 是 向 多 个 channel 中 写 入 数据 呢 ? 
我 们 刚才 只 是 学 习 了 alt! 宏 的 皮毛 类 似 于 从 多 个 channel 读 出 
数据 ，alt! 宏 也 可 以 用 于 向 多 个 channel 写 入 数据 ， 或 者 将 读 写 混 
用 。 本 书 并 不 会 涉及 这 种 用 法 ， 如 果 读 者 想 深 入 了 解 alt! ， 可 以 
A BT CE 
超时 


timeout 函数 返回 一 个 channel， 这 个 channel 在 指定 的 时 间 “〈 以 量 秒 为 
单位 ) 过 后 会 被 关闭 : 














channeLs.core=> 


(time (<!! (timeout 10000) )) 


"Elapsed time: 10001.662 msecs" 
nil 





timeout Salt! 一 起 使 用 ， 可 以 为 channel 操 作 设 置 超 时 时 间 ， 比 如 : 





channeLs.core=> 


(def ch (chan)) 


#'channels.core/ch 


channeLs.core=> 


(let [t (timeout 10000) ] 


# => (go (alt! 


# => ch ([x] (println "Read" x "from channel") ) 


# => t (println "Timed out")))) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChanne1l@2813 
channels. core=> 


Timed out 





设置 超时 并 没有 什么 新 鲜 ， 但 这 种 方法 使 得 超时 具象 化 了 《用 一 个 对 象 
来 代表 超时 操作 ) ， 稍 后 将 会 看 到 这 项 改进 是 非常 有 用 的 。 


具象 化 的 超时 


大 部 分 系统 是 以 请 求 为 对 象 来 设置 超时 时 间 的 ， 比 如 Java 的 
URLConnection 类 提供 的 setReadTimeout() 方法 。 如 果 服 务 器 在 一 








定时 间 内 没有 响应 ，read() SMH IOException 。 


这 只 适用 于 对 单个 请 求 设置 超时 时 间 ， 如 果 要 为 几 个 串 行 的 请 求 设 置 一 
个 总 的 超时 时 间 ， 上 述 方法 就 不 能 解决 问题 ， 而 具象 化 的 超时 却 可 以 。 
只 需要 创建 一 个 超时 对 象 ， 并 在 串 行 的 几 个 请 求 中 都 使 用 这 个 超时 对 象 
即 可 。 

为 说 明 这 一 点 ， 我 们 将 昨天 创建 的 素数 得 稍微 修改 一 下 ， 使 其 不 接受 数 
而 是 接受 一 个 时 间 。 素 数 往 将 在 规定 时 间 内 尽 可 能 多 地 产生 素 
先 修 改 get-primes ， 使 其 不 断 产 生 素 数 : 





CSP/SieveTimeout/src/sieve/core.clj 





(defn 


get-primes [] 
(let 


[primes (chan) 
> numbers (to-chan (iterate inc 


2))] 
(go-loop [ch numbers ] 
(when-let 


[prime (<! ch)] 
(>! primes prime) 
(recur 


(remove< (partial 


factor? prime) ch))) 
(close! primes)) 
primes) ) 





之 前 channel 的 初始 值 是 由 (range 2 limit) 产生 的 ， 而 这 次 是 用 无 穷 
数组 (iterate inc 2) 。 


下 面 的 代码 使 用 了 get-primes : 


CSP/SieveTimeout/src/sieve/core.clj 


-main [seconds | 
(let 


[primes (get-primes) 
> limit (timeout (* (edn/read-string seconds) 1666) )] 
(loop 


(alt!! :priority true 
limit nil 
primes ([prime] (printin 


prime) (recur 





)))))) 


这 段 代码 中 使 用 了 alt!! ， 如 你 所 料 ， 它 是 altl WHERE. KEAN 
码 中 的 alt!1! 将 进行 阻 蹇 ， 直 到 产生 了 一 个 新 的 素数 ， 或 者 到 达 设 置 的 
超时 时 间 1imit 而 返回 nil 。:priority true 选项 确保 了 alt!1! 的 子 
名 《都 可 以 执行 时 ) 是 按 代码 顺序 执行 的 〈 默 认 情 况 下 ， 如 采 两 个 子 名 





都 可 以 执行 ， 它 们 执行 的 顺序 是 不 确定 的 ) ， 这 样 就 尽量 避免 了 由 于 产 
生 素 数 的 速度 过 快 而 导致 超时 的 子 句 无 法 执行 的 情况 。 这 个 例子 展示 了 
e cada 相 比 为 每 个 请 求 设 置 超时 时 间 ， 这 种 方式 
显得 更 加 自然 。 


下 一 节 将 使 用 超时 机 制 和 Clojure 的 宏 系统 来 构建 一 个 辅助 工具 ， 它 适用 
于 一 个 普遍 的 场景 一 一 轮 询 。 


异步 轮 询 

稍 后 我 们 将 构建 一 个 RSS 阅 读 器 。RSS 阅 读 器 需要 轮 询 指定 的 新 闻 feed 
来 检测 是 个 有 新 的 文章 。 本 节 我 们 将 使 用 超时 机 制 和 Clojure 的 安 系 统 来 
构建 一 个 辅助 工具 ， 它 可 以 轻松 高 效 地 进行 异步 轮 询 。 

FEV PKI BL 

要 实现 轮 询 功 能 ， 需 要 用 到 之 前 所 到 的 timeout 函数 。 下 面 这 个 函数 接 
受 两 个 参数 : 轮 询 周 期 〈 以 秒 为 单位 ) 和 一 个 函数 ， 这 个 函数 每 隔 一 个 
轮 询 周期 会 被 调用 一 次 : 


CSP/Polling/src/polling/core.clj 








poll-fn [interval action] 
(let 


[seconds (* interval 1000) ] 
(go (while 


(action) 
(<! (timeout seconds)))))) 








这 个 函数 十 分 简单 ， 并 且 能 正常 运行 : 


polling. core=> 


(poll-fn 10 #(printin "Polling at:" (System/currentTimeMillis) ) ) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@6e62 
polling. core=> 


Polling at: 1388827086165 
Polling at: 1388827096166 
Polling at: 1388827106168 





不 过 这 里 有 一 个 问题 一 一 也 许 你 看 到 poll-fn 是 在 go 块 中 对 传 入 的 函数 
进行 调用 的 ， 因 此 残 认为 传 入 的 函数 中 可 以 调用 暂停 函数 。 如 果 这 样 
做 ， 会 及 生 以 下 异常 : 








poLLing. core=> 


(def ch (to-chan (iterate inc @))) 


#'polling.core/ch 
polling. core=> 


(poll-fn 10 #(println "Read:" (<! ch))) 


Exception in thread "async-dispatch-1” java.lang.AssertionError: 
Assert failed: <! used not in (go ...) block 
nil 








问题 的 原因 在 于 暂停 函数 必须 直接 在 go 块 中 调用 一 一 在 这 一 点 上 Clojure 
的 宏 魔 法 也 无 能 为 力 。 


轮 询 宏 

之 前 使 用 函数 进行 轮 询 ， 而 男 一 种 轮 询 的 方法 是 使 用 宏 : 
CSP/Polling/src/polling/core.clj 

(defmacro 


poll [interval & body] 
“(let 


[seconds# (* ~interval 100@) ] 
(go (while 


~@body) 


(<! (timeout seconds#)))))) 





本 书 不 会 详细 介绍 Clojure 的 宏 ， 因 此 你 只 能 暂且 接受 本 节 的 内 容 。 稍 后 
会 详细 讲解 pol1 的 工作 原理 ， 下 面 这 几 点 会 帮助 我 们 理解 其 工作 原 
理 。 

© 编译 系统 不 是 直接 编译 宏 ， 而 是 编译 宏 展 开 后 的 代码 。 


eels C) 是 一 个 运算 符 ， 用 于 引用 代码 。 它 并 不 执行 其 中 的 代 
码 ， 而 是 返回 代码 的 可 编译 形式 。 


。 在 宏 中 ， 可 以 通过 ~ 和 ~@ 操作 符 来 引用 宏 的 参数 。 

















。 在 变量 名 后 使 用 # 后 级 ， 可 以 让 Clojure 自 动 生成 一 个 唯一 名 字 (以 
确保 宏 使 用 的 变量 名 和 传 给 宏 的 代码 中 的 变量 名 不 会 冲突 )。 


来 测试 -个 宏 poll : 





polling. core=> 


(poll 10 


(println "Polling at:" (System/currentTimeMillis) ) 


(printin (<! ch))) 


#<ManyToManyChannel clojure.core.async.impl.channels.ManyToManyChannel@1bec 
polling. core=> 


Polling at: 1388829368011 
0 

Polling at: 1388829378618 
1 











由 于 宏 是 在 编译 时 展开 ， 因 此 传 给 poll 的 代码 是 内 联 的 Cinlined) ， 
ZRAKE Apoll 的 go 块 中 ， 也 就 是 说 代码 中 可 以 包含 暂 集 函数 。 
使 用 宏 的 好 处 不 只 如 此 。 我 们 不 必 再 传 入 一 个 完整 的 函数 ， 而 是 传 入 一 
个 代码 厂 段 ， 这 样 束 不 用 再 借助 匿名 函数 ， 进 而 代码 看 上 去 会 更 自然 。 
事实 上 ， 我 们 创建 了 一 种 不同 于 函数 的 ) 控制 结构 。 


通过 展开 pol1l 可 以 检查 它 是 否 正确 : 





polling. core=> 


(macroexpand-1 


"(poll 10 


(println "Polling at:" (System/currentTimeMillis) ) 


(printin (<! ch)))) 


(clojure.core/let [seconds 2691 auto _ (clojure.core/* 10 10@@) | 
(clojure.core.async/go 
(clojure.core/while true 
(do 
(println "Polling at:" (System/currentTimeMillis) ) 
(printin (<! ch))) 
(clojure.core.async/<! (clojure.core.async/timeout seconds 2691 aut 





为 了 方便 阅读 ， 本 书 对 上 面 代码 中 macroexpand-1 的 输出 结果 进行 了 
格式 上 的 调整 。 可 以 看 到 ， 传 给 pol1l 的 代码 被 “粘贴 ?到 了 宏 的 代码 
中 ， 并 且 seconds# 被 转换 成 了 一 个 唯一 名 字 (如 末 传 给 poll 的 代码 
中 ，seconds 这 个 名 字 有 其 他 用 途 ， 那 么 这 个 转换 就 尤为 必要 了 ) 。 


下 一 证 的 例子 中 会 使 用 pol1 K 





异步 IO 


在 IO 这 异步 代码 吴 手 不 凡 一 一 与 传统 的 一 个 线程 进行 一 个 连接 
不 同 ， 异 步 IO 可 以 一 下 进行 很 多 连接 ， 当 其 中 有 一 个 连接 的 数据 可 用 
时 ， 会 收 到 一 个 通知 。 这 是 一 个 很 强大 的 技术 ， 但 使 用 起 来 也 颇具 挑战 











性 ， 因 为 异步 代码 往往 会 是 回调 租 套 回调 ， 慢 慢 演变 成 一 团 糟 。 本 市 我 
们 来 学 习 core.async 是 如 何 让 异步 代码 变 得 简洁 的 。 

继续 前 几 章 词 频 统计 的 例子 ， 本 节 将 创建 一 个 RSS 阅 读 器 ， 用 来 监听 新 
闻 feed， 当 检测 到 新 的 文章 时 进行 词 数 统计 ? 。 我 们 将 创建 若干 并 发 的 
go 块 ， 并 将 其 用 channel 连 接 成 一 个 流水 线 : 


3 与 前 几 章 不 同 ， 此 处 只 统计 词 数 ， 而 不 统计 词 频 。 一 一 译 者 注 














1. 底层 的 go 块 用 于 监听 东 个 feed， 每 60 秒 进行 一 次 轮 询 。 它 首先 解析 办 
询 得 到 的 XML， 人 然后 从 中 提取 出 文章 的 链接 ， 最 后 将 其 传 给 流水 线 。 


2. 下 一 层 的 go 堪 维 护 了 从 茶 个 feed 中 收 到 的 文章 链接 的 列表 。 当 它 发 现 
一 篇 新 的 文 曹 时， 就 将 文章 的 链接 传 给 流水 线 。 


3. 下 一 层 的 go 块 依次 接受 新 的 文革 链接， 并 统计 文章 中 的 词 数 ， 再 将 计 
数 结果 传 给 流水 线 。 


4. 将 多 个 feed 的 计数 结果 合并 到 一 个 channel 中 。 


5. 最 高 层 的 go 块 监听 合并 后 的 channel， 当 有 新 的 计数 结果 产生 时 ， 将 该 
结果 输出 。 


整个 流水 线 的 结构 如 图 6-3 所 示 。 





ni 新 文 
0 
0 


weji 


图 6-3 RSS 阅读 器 的 结构 
先 来 看 看 如 何 将 一 个 现成 的 异步 IO 库 集成 到 core.async 中 。 
从 回调 转 问 channel 


本 例 将 使 用 http-kit 库 9 。 与 许多 异步 I0 库 类 似 ， 当 一 个 操作 完成 时 ， 
http-kit 会 调用 回调 函数 : 


Je http://http-kit.org 





wordcount.core=> 


(require '[org.httpkit.client :as http]) 


nil 
wordcount.core=> 


(defn handle-response [response] 


z (let [url (get-in response [:opts :ur1]) 
status (:status response) ] 


2 (println "Fetched:" url "with status:" status))) 


#'wordcount.core/handle-response 
wordcount.core=> 


(http/get "http://paulbutcher.com/" handle-response) 


#<core$promisegreify_6310@3a9280d@: :pending> 
wordcount.core=> 


Fetched: http://paulbutcher.com/ with status: 200 





现在 的 任务 是 对 http/get 进行 封装 ， 将 http-kit 集 成 到 core.async 
中 。 这 里 将 用 到 一 个 陌生 的 函数 put! ， 它 不 必 在 go 块 中 调用 。 它 可 以 


癌 channel 写 入 数据 ， 与 之 前 不 同 ， 它 只 是 发 起 写 入 而 并 不 关心 结 采 〈 既 
不 会 进行 阻塞 也 不 会 进行 暂停 ) : 





CSP/WordCount/src/wordcount/http.clj 





(defn 


http-get [url] 


(let 


[ch (chan) ] 
(http/get url (fn 


[response ] 
(if 


(= 200 (:status response) ) 
(put! ch response) 
(do 


(report-error response) (close! ch))))) 


ch)) 





这 段 代 码 首先 创建 了 一 个 channel， 它 将 作为 函数 的 返回 值 ( 你 应 该 已 经 
很 熟悉 这 个 模式 了 ) ; 然后 调用 了 http/get ， 并 立刻 返回 。 在 未 来 某 


个 时 间 ， 当 GET 操 作 完 成 时 ， 回 调 函 数 将 被 调用 。 如 果 GET 操 作 返 回 的 
状态 是 200( 表 示 成 功 ) ， 回 调 函 数 会 将 GET 操 作 的 响应 内 容 写 入 
channel; 如 果 状 态 不 是 200， 回 调 函 数 会 报告 一 个 错误 并 关闭 channel。 
下 一 节 将 创建 轮 询 RSS feed 的 函数 。 

轮 询 feed 


我 们 已 经 有 了 http-get 和 poll ， 如 你 所 料 ， 通 过 简单 的 代码 就 可 以 轮 
询 RSS feed: 


CSP/WordCount/src/wordcount/feed.clj 





(def 


poll-interval 60) 


3 Simple-minded feed-polling function 


3 WARNING: Don't use in production (use conditional get instead) 


(defn 


poll-feed [url] 
(let 


[ch (chan) ] 


(poll poll-interval 
(when-let 


[response (<! (http-get url))] 
(let 


[feed (parse-feed (:body response) ) ] 
(onto-chan ch (get-links feed) false)))) 
ch) ) 





parse-feed 和 get-links 这 两 个 函数 会 使 用 Rome 库 ” 来 解析 feed 所 返 
an 本 书 不 再 介绍 这 两 个 函数 ， 你 可 以 在 本 书 配套 代码 中 找到 
Cl 


7 http://rometools.github.io/rome/ 


get-links 会 返回 链接 的 列表 ， 通 过 onto-chan 将 这 个 列表 写 入 ch 。 


默认 情况 下 ，onto-chan 会 在 写 完 列表 后 关闭 channel， 这 里 通过 设 
置 onto-chan 的 最 后 一 个 参数 使 其 不 关闭 channel。 


来 测试 一 下 po11-feed : 





wordcount.core=> 


(ns wordcount. feed) 


nil 


wordcount. feed=> 


(def feed (poll-feed "http://www. cbsnews.com/feeds/rss/main.rss")) 


#'wordcount. feed/feed 
wordcount. feed=> 


(loop [] 


# =>  (when-let [url (<!! feed)] 


# => (printin url) 


+ 
ll 
Vv 


ma (recur) )) 


http: //www.cbsnews.com/news/three-year-old-dies-after-visit-to-dentist-in-h 


http: //www.cbsnews.com/news/obama-unemployment -benefits-expiration-just-pla 
http: //www.cbsnews.com/news/rand-paul-says-hes-suing-over-nsa-surveillance- 





下 面 来 看 看 如 何 对 pol1-feed 所 返回 的 链接 进行 去 重 。 
请 勿 轻易 尝试 
对 于 本 书 来 次 ， 用 这 样 简单 的 轮 询 策 略 来 举例 是 为 了 方便 理解 ， 请 
不 要 在 产品 环境 中 使 用 这 个 策略 。 轮 询 时 每 次 都 获取 完整 的 feed 是 
不 必要 的 ， 这 会 增加 网 络 带宽 的 压力 和 被 轮 询 服务 器 的 压力 ， 可 以 
通过 HTTP 的 条 件 GETs 来 减 小 压力 。 
a. http://fishbowl.pastiche.org/2002/10/21/http_conditional_get_for_rss_hackers/ 
对 链接 进行 去 重 
poll-feed 函数 进行 轮 询 时 ， 会 返回 feed 中 所 有 的 链接 ， 其 中 包含 大 量 
重复 的 链接 。 我 们 需要 的 channel 应 该 只 包含 feed 中 出 现 的 新 链接 。 可 以 
用 下 面 这 个 函数 达到 目的 : 


CSP/WordCount/src/wordcount/feed.clj 





(defn 


new-links [url] 
(let 


[in (poll-feed url) 
out (chan) ] 
(go-loop [links #{}] 
(let 


[link (<! in)] 
(if 


(contains 


? links link) 
(recur 


links) 
(do 


(>! out link) 
(recur (conj 


links link)))))) 
out) ) 





首先 ， 这 段 代 码 创 建 了 两 个 channel: in 和 out . in 是 由 poll-feed K 
数 返 回 的 ;feed 中 的 新 链接 将 被 号 入 out 。 这 段 代 码 在 go 块 中 进行 了 一 
个 循环 ， 用 于 维护 目前 接收 到 的 链接 的 集合 links , links 的 初始 值 是 
空 集合 #{} 。 每 当 从 in 中 读 出 一 个 链接 时 ， 就 需要 检查 links PEA 
己 存 在 该 链接 。 如 果 已 经 存在 ， 就 什么 也 不 做 ; 否则 就 将 其 写 入 out 并 
添加 到 Links F. 


在 REPL 中 测试 一 下 ， 这 次 不 再 会 每 隔 60 秒 输出 一 堆 链 接 ， 而 是 仅 在 检 
测 到 新 链接 时 才 会 有 输出 。 


现在 我 们 已 经 从 feed 中 获取 了 新 文章 的 链接 ， 接 下 来 就 可 以 依次 获取 文 
章 的 内 容 并 统计 词 数 了 。 


统计 词 数 


根据 之 前 所 学 的 知识 ， 很 容易 承 可 以 实现 get-counts pK AL: 

















CSP/WordCount/src/wordcount/core.clj 





(defn 


get-counts [urls] 
(let 


[counts (chan) ] 
(go (while 


true 
(let 


[url (<! urls)] 
(when-let 


[response (<! (http-get url))] 
(let 


[c (count 


(get-words (:body response) )) ] 
(>! counts [url c])))))) 


counts) ) 





这 段 代 码 接受 一 个 channel urls ， 对 于 从 中 读 出 的 每 一 个 链接 ， 使 

用 http-get 来 获取 文章 的 内 容 ， 统 计 其 中 的 词 数 ， 并 将 结果 写 入 返回 
的 channel 中 。 统 计 词 数 的 结果 是 一 个 二 元 数组 ， 其 中 第 一 个 元 素 是 文章 
的 链接 ， 第 二 个 元 素 是 文章 的 词 数 。 

万 事 俱 备 ， 只 闫 将 各 个 部 分 组 装 起 来 。 


组 闭 





下 面 这 个 main 函数 实现 了 完整 的 RSS 词 数 统计 功能 : 


CSP/WordCount/src/wordcount/core.clj 





Line 1 (defn 


-main [feeds-file] 
2 (with-open 


[rdr (io/reader feeds-file) ] 
3 (let 


[feed-urls (line-seq 


4 article-urls (doall 


(map 


new-links feed-urls)) 
5 article-counts (doall 


(map 


get-counts article-urls)) 
6 counts (async/merge article-counts) ] 
7 (while 


true 
8 (printin 


(<!! counts)))))) 





这 个 函数 接受 一 个 文件 名 作为 参数 ， 该 文件 包含 了 多 个 feed 的 URL， 
行 一 个 URL。 首 先 ， 这 上 段 代 码 创 建 了 一 个 文件 读 取 器 (第 2 行 ) 
(Clojure 中 的 with-open 函数 确保 当代 码 运行 到 其 作用 范围 之 外 时 ， 文 
件 会 被 关闭 ) ; 然后 ， 通 过 line-seq (28347) 从 文件 读 取 器 中 获取 
URL 的 列表 ， 并 对 URL 列 表 施 加 映射 操作 (映射 函数 是 new-links ) 以 
将 其 转换 为 channel 的 序列 (第 4 行 )， 当 检测 到 某 个 feed 中 有 新 的 链接 
时 ， 新 的 链接 就 会 被 写 入 对 应 的 channel 中 ; 接 下 来 ， 对 channel 的 序列 
施加 映射 操作 (映射 函数 是 get-counts ) 以 得 到 另 一 个 channel 的 序列 
(第 5 行 ) ， 当 检测 到 某 个 feed 中 有 新 的 链接 时 ， 链 接 指 癌 的 文章 的 词 
数 就 会 被 写 入 这 个 序列 中 对 应 的 channel 中 。 


最 后 ， 使 用 async/merge 函数 第 6 行 ) 来 将 这 个 channel 序 列 合 并 为 一 
个 单独 的 channel， 其 包含 了 原始 channel 序 列 中 的 所 有 内 容 。 代 码 会 一 
直 循 环 下 去 (第 7 行 )， 输 出 所 有 写 入 合并 后 的 channel 中 的 词 数 统计 结 
FR, 来 测试 一 下 : 








lein run feeds.txt 


[http: //www.bbc.co.uk/sport/@/football/25611509 10671] 
[http://www.wired.co.uk/news/archive/2014-01/04/time-travel 11188] 
[http://news.sky.com/story/1190148 3488] 





在 这 段 程序 运行 时 监测 一 人 CPU 的 使 用 情况 ， 会 及 现 这 段 代码 不 仅 简单 
易 恋 ， 而 且 非 常 蜗 效 ， 它 可 以 同时 检测 数 百 个 feed， 但 只 占用 少量 CPU 


小 乔 爱 问 : 
为 什么 使 用 无 缓存 的 channel? 
回顾 一 下 今天 创建 的 所 有 channel 它们 全 都 是 无 缓存 的 〈 同 步 
的 ) 。 学 习 CSP 模 型 的 新 手 往往 会 认为 有 缓存 的 channel 会 比 无 缓存 
的 channel 应 用 更 为 广泛 ， 但 实际 情况 恰恰 相反 。 有 一 些 场景 适合 使 
用 有 绥 存 的 channel， 但 在 使 用 前 务必 深思 就 虑 ， 一 定 要 确认 使 用 绥 
存 的 必要 性 。 

第 二 天 总 结 


我 们 完成 了 第 二 天 的 学 习 。 第 三 天 将 学 习 在 客户 并 如 何 通 过 
ClojureScript 使 用 core.async JÆ- 


第 二 天 我 们 学 到 了 什么 


使 用 channel 和 go 块 ， 可 以 写 出 高 效 的 异步 代码 ， 同 时 代码 的 表达 也 非常 
EY, ih A&R AEA EA eR CAT AS EYE o 


如 果 要 将 现存 的 基于 回调 机 制 的 API 迁 移 到 CSP 机 制 中 ， 只 需 提 供 
一 个 很 小 的 回调 函数 ， 辐 channel 写 入 数据 即 可 。 


通过 alt! 宏 可 以 处 理 多 个 channel 的 读 和 写 。 


timeout 函数 返回 一 个 channel， 并 在 一 定时 间 后 关闭 这 个 channel 
一 一 这 样 使 得 “超时 ”这 个 操作 变 成 了 第 一 类 对 象 ( 被 具象 化 了 ) 。 


暂 集 函数 必须 在 go 块 中 被 直接 调用 。Clojure 的 宏 可 以 将 代码 内 联 ， 
可 以 将 go 块 拆 分 成 较 小 的 部 分 ， 而 不 受 这 个 约束 的 影响 。 


BRAJ 
ARR 


。 Salt! 类 似 ，core.async 还 提供 了 alts! 。 两 者 有 什么 区 别 ? 各 
自 适用 于 什么 场景 ? 


。 除 了 async/merge ，core.async 还 提供 了 很 多 方法 来 合并 多 个 








channel， 例 如 pub 、sub 、mult 、tap 、mix 和 admix 。 它 们 各 适 
用 于 什么 场景 ? 


实践 


。 重 新 整理 一 下 RSS 阅 读 器 运行 的 流程 。 有 趣 的 是 由 于 全 程 使 用 了 无 
绥 存 的 channel， 整 个 流程 看 上 去 非常 像 数据 流 式 编程 的 结果 ， 其 中 
上 游 的 go 块 的 运行 结果 由 下 游 的 go 块 使 用 。 如 果 使 用 有 缓存 的 
channel 会 发 生 什 么 ? 比 起 使 用 无 缓存 的 channel， 是 人 否 有 什么 好 
处 ? 会 带 来 什么 问题 ? 

。 上 自己 实现 一 个 类 似 于 async/merge 的 函数 。 这 个 函数 还 需要 处 理 
输入 channel 中 有 一 个 或 多 个 被 关闭 的 情况 。 Gers: 比 起 altl ， 
Halts! 来 实现 会 比较 容易 。) 


。 使 用 Clojure 的 宏 展 开工 具 将 alt! 宏 展 开 : 


channeLs.core=> 


(macroexpand-1 '(alt! chi ([x] (println x)) ch2 ([y] (println y)))) 





对 于 展开 后 的 代码 ， 通 过 调整 缩 进 并 删除 clojure.core 前 级 ， 可 以 方 
便 阅 读 。alt! 是 如 何不 调用 匿名 函数 而 达到 调用 匿名 函数 的 效果 的 ? 


6.4 第 三 天 : 客户 端 CSP 


ClojureScript Chttp://clojurescript.com ) 是 Clojure 的 一 个 子 集 ， 
ClojureScript 并 不 将 程序 编译 成 Java 字 节 人 得 ， 而 编译 成 JavaScript。 也 就 
是 说 可 以 用 Clojure 为 一 个 web 应 用 同时 编写 服务 右 端 和 客户 疹 的 代码 。 


使 用 ClojureScript 的 主要 原因 之 一 是 它 文 持 core.async ， 这 为 我 们 融 来 
了 许多 好 处 ， 其 中 最 重要 的 就 是 它 能 将 众多 JavaScript 程 序 员 从 “回调 困 
境 ” 中 解救 出 来 。 


并 发 是 一 种 心境 


如 果 你 熟悉 客户 端 JavaScript 编 程 ， 肯 定 会 认为 本 节 写 错 了 一 一 浏览 器 使 
用 的 JavaScript 引 擎 是 单线 程 的 ， 怎 么 会 与 core.async 扯 上 关系 ? 并 发 
编程 不 是 在 多 线程 的 场景 下 才 有 用 吗 ? 


在 没有 真正 多 线程 的 场景 中 ， 通 过 go 宏 的 控制 反 转 ，ClojureScript 可 以 

让 客户 端 编程 在 表面 上 具有 多 线程 功能 。 这 是 协作 式 多 任务 
(cooperative multitasking〉 的 一 种 形式 一 一 一 个 任务 不 会 强制 打 断 另 一 

个 任务 。 之 后 我 们 会 看 到 ， 这 为 代码 结构 和 清晰 度 带 来 了 质 的 飞跃 。 


小 乔 爱 问 : 























关于 Web Worker 


通过 Web Worker ， 现 代 浏 览 器 在 一 定形 式 上 文 持 真正 多 线程 的 
JavaScript. Web Worker 只 涉及 后 台 任 务 ， 而 不 能 访问 DOM.。 


通过 某 些 库 ， 比 如 Servantbp ，ClojureScript 也 可 以 使 用 Web 
Worker. 


a. http:/;www.whatwg.org/specs/web-apps/current-work/multipage/workers.html 


b. https://github.com/MarcoPolo/servant 


Hello, ClojureScript 


ClojureScript 与 Clojure 类 似 ， 但 也 存在 一 些 差 别 一 一 本 书 会 在 相关 部 分 
SAE. 


ClojureScript 应 用 的 编译 过 程 通常 是 两 阶段 的 。 第 一 阶段 ， 客 户 端的 
ClojureScript 代 码 将 被 编译 成 一 个 JavaScript 文 件 ， 第 二 阶段 ， 服 务 器 端 
的 ClojureScript 代 码 将 被 编译 并 创建 一 个 服务 器 ， 这 个 服务 器 提供 的 页 
面 会 将 该 JavaScript 文 件 的 代码 包装 在 <script> 标签 对 中 。 本 节 中 的 例 
子 都 使 用 Leiningen 的 插件 lein-cjjsbuild8 将 编译 过 程 自动 化 。 服 务 器 端的 
代码 放 在 目录 src-clj 中 ， 客 户 端 的 代码 放 在 目录 src-cljs 中 。 








5 https://github.com/emezeske/lein-cljsbuild 


先 来 看 一 个 简单 的 项 目 ， 将 一 个 脚本 扇 入 一 个 页 面 中 ， 页 面 如 下 : 


CSP/HelloClojureScript/resources/public/index.html 





Line 1 <html> 


2 <head> 


3 <title> 


Hello ClojureScript</title> 


4 <script 


src="/js/main.js 


type="text/javascript 


"></script> 
5 </head> 
6 <body> 
7 <div 


id="content 


8 </div> 


9 </body> 


10 </html> 





第 4 行 中 引用 了 ClojureScript 生 成 的 JavaScript 脚 本 ， 它 将 操作 第 7 行 空白 
的 <div> 。 下 面 是 对 应 的 ClojureScript 代 码 : 


CSP/HelloClojureScript/src-cljs/hello_clojurescript/core.cljs 





Line 1 (ns 


hello-clojurescript.core 
- (:require-macros [cljs.core.async.macros :refer [go]]) 
- (:require [goog.dom :as dom] 
- [cljs.core.async :refer [<! timeout]])) 


- (defn 


output [elem message] 
- (dom/append elem message (dom/createDom "br"))) 
- (defn 


start [] 
- (let 


[content (dom/getElement "content 


10 (go 
- (while 


- (<! (timeout 100@)) 
- (output content "Hello from task 1 


"))) 


(go 
15 (while 


- (<! (timeout 150@)) 
- (output content "Hello from task 2 


- (set! (.-onload js/window) start) 





ClojureScript 与 Clojure 的 一 个 差别 是 其 使 用 的 宏 需 要 使 用 : require- 
macros 进行 声明 (第 2 行 )。output 函数 〈 第 6 行 ) 使 用 了 Google 
Closure 库 9 (此 处 的 Closure 第 四 个 字母 是 s， 而 不 是 )) 向 一 个 DOM 元 素 
添加 消息 。 





9 https://developers.google.com/closure/library/ 


这 段 代 码 在 第 13 行 和 第 17 行 使 用 了 output 函数 ， 其 分 别 运行 于 两 个 独 
并 的 go 块 中 。 第 一 个 go 块 每 1 秒 输出 一 次 ， 第 二 个 go 块 每 1.5 秒 输出 一 
次 。 


第 19 行 的 代码 将 start 水 数 与 JavaScript 的 window 对 象 的 onload 属性 进 
行 绑 定 。 这 行 代 码 借助 了 ClojureScript 的 dot special form 特 性 ， 与 
JavaScript 代 码 进行 交互 。 下 面 这 段 代 码 : 





(set! (.-onload js/window) start) 





会 被 转换 成 下 面 的 JavaScript 代 码 : 


window.onload = hello_clojurescript.core.start; 


由 于 服务 器 问 的 ClojureScript 代 码 比 较 简 单 ， 这 里 不 再 进行 介绍 “如 需 
了 解 更 多 细节 ， 请 参见 本 书 配套 代码 ) 。 


现在 可 以 用 lein cljsbuild once 编译 程序 ， 并 用 lein run 运行 服 
务 器 。 通 过 浏览 器 访问 http://1localhost:3668 ， 就 可 以 看 到 以 下 输 
出 : 


Hello from task 1 
Hello from task 2 
Hello from task 1 
Hello from task 1 
Hello from task 2 











现在 是 否 还 觉得 并 发 程序 一 定 要 依托 于 真正 的 多 线程 ? 

并 发 任务 如 果 能 一 直 独 立 运行 那 是 极 好 的 。 但 大 多 数 界 面 需要 和 用 户 进 
行 互动 ， 这 就 要 求 代 码 能 处 理事 件 ， 下 一 节 将 学 习 如 何 处 理事 件 。 

处 理事 件 


本 市 将 通过 一 个 简单 的 可 以 啊 应 电 标 点 击 的 动画 ， 来 演示 ClojureScript 
是 如 何 处 理事 件 的 。 我 们 将 创建 一 个 页 面 ， 在 页 面 上 显示 一 些 圆 ， 这 些 
加 会 逐渐 发 减 成 一 个 把 ， 最 终 消 失 在 用 户 鼠 标点 击 的 位 置 ， 如 图 6-4 所 
示 。 





图 6-4 衰减 的 圆 
页 面 的 代码 非常 简单 ， 只 使 用 一 个 <div> 充满 整个 窗口 : 


CSP/Animation/resources/public/index.html 





<html> 


<head> 


<title> 


Animation</title> 


<script 


src="/js/main.js 


type="text/javascript 


"></script> 


</head> 


<body> 


<div 


id="canvas" width="100% 


" height="100% 


"></div> 


</body> 


</html> 





我 们 要 借助 Google Closure 库 的 图 形 功 能 在 页 面 上 绘图 ，Google Closure 
库 对 不 同 浏览 器 上 绘图 操作 的 细节 进行 了 抽象 。create-graphics R 
数 接受 一 个 DOM 元 素 ， 返 回 一 个 图 像 接 口 ， 通 过 这 个 图 像 接口 可 以 在 
DOM 元 素 上 绘图 : 


CSP/Animation/src-cljs/animation/core.cljs 


create-graphics [elem] 
(doto 


(graphics/createGraphics "160% 


") 





(.render elem))) 


shrinking-circle 函数 接受 一 个 图 形 接口 和 一 个 位 置 ， 并 创建 一 个 go 
块 ， 其 绘制 以 输入 的 位 置 为 中 心 的 圆 ， 并 实现 动画 : 


CSP/Animation/src-cljs/animation/core.cljs 





Line 1 (def 


stroke (graphics/Stroke. 1 "#ffeeee 


shrinking-circle [graphics x y] 


(go 
5 (let 


[circle (.drawCircle graphics x y 100 stroke nil) ] 
- (loop 


[r 100] 
- (<! (timeout 25)) 
- (.setRadius circle r r) 
- (when 
(> 
r @) 
10 (recur 


(dec 


r)))) 
i (.dispose circle)))) 


这 段 代 码 首先 使 用 Google Closure 库 的 drawCircle K% (54r) KA 

制 圆 ， 然 后 进入 循环 ， 每 25 ms 调用 一 次 setRadius 函数 〈 每 秒 40 次 ) 
(第 7 行 ); 最 后 当 半 径 误 减 到 0 时 ， 调 用 dispose 函数 来 删除 圆 〈 第 11 

AT) 

我 们 还 需要 判断 用 户 何 时 在 页 面 上 点 击 了 鼠标 。Google Closure 库 提供 
了 1isten 函数 ， 用 于 注册 事件 监听 者 。 


类 似 于 昨天 学 习 的 http/get RA, listen 接受 一 个 回调 函数 ， 在 指定 
事件 发 生 时 会 调用 该 回调 函数 。 与 昨天 类 似 ， 我 们 传 入 一 个 将 事件 写 入 
channel 的 回调 函数 ， 来 将 回调 函数 转换 成 core .async 的 形式 : 














CSP/Animation/src-cljs/animation/core.cljs 


get-events [elem event-type ] 
(let 


[ch (chan) ] 
(events/listen elem event-type 
#(put! ch %)) 
ch) ) 


BF SG — LAE: 





CSP/Animation/src-cljs/animation/core.cljs 





(defn 


start [] 
(let 


[canvas (dom/getElement "canvas 


graphics (create-graphics canvas) 
clicks (get-events canvas "click 


(go (while 


true 
(let 


[click (<! clicks) 
x (.-offsetX click) 
y (.-offsetY click) ] 
(shrinking-circle graphics x y)))))) 
(set! (.-onload js/window) start) 





这 上 段 代码 首先 查找 一 个 <div> 作为 画布 ， 向 运 一 个 图 形 接口 在 画布 上 绽 
男 ， 并 获得 鼠标 点 击 事件 构成 的 channel; 然后 进入 循环 ， 等 待 发 生 一 次 
鼠标 点 击 ， 获 取 这 次 点 击 的 坐标 offsetX 和 offsetY ， 并 在 这 个 坐标 位 
置 创建 一 个 圆 的 动画 。 


这 个 例子 看 上 去 很 简单 《实际 上 也 是 这 样 ) ， 但 它 将 JavaScript 的 基于 回 
调 的 代码 转换 成 了 core .async 的 基于 channel 的 代码 ， 我 们 已 经 获得 了 
巨大 的 成 功 一 一 找到 了 “回调 困境 ”的 解决 方案 。 


驯服 回调 
“回调 困境 ” 指 的 是 由 于 JavaScript 严 重 依赖 回调 方法 而 导致 代码 混乱 的 状 


况 一 一 回调 函数 调用 的 回调 函数 再 调用 男 一 个 回调 函数 ， 还 需要 和 暂 存 不 
同 的 状态 来 进行 回调 之 间 的 通信 。 














下 面 将 学 习 如 何 用 本 章 介 绍 的 异步 编程 模型 来 解决 回调 困境 。 


RoI. ean 10 

实现 个 回 导 器 

10 有 趣 的 是 ， 原 文 标题 是 <Were Off to See the Wizard”， 这 是 绿野仙踪 的 一 首 插曲 。“wizard” 既 
有 “有 焉 师 ” 的 意思 ， 也 有 “ 辐 导 器 ”的 意思 。 一 一 译 者 注 




















— 























同 导 器 是 常用 的 界面 模式 ， 指 导 用 户 一 步 一 步 地 进行 操作 。 今 天 最 后 
的 任务 束 是 运用 所 学 来 创建 一 个 不 使 用 回调 函数 的 问 导 器 : 
Wizard 
< + [< localhost:3000 © | » 


Step 2 
Date of Birth: 93/10/1968 


Homepage: www.paulbutcher.com 





Next 





图 6-5 癌 导 器 
向 导 器 由 包含 多 个 fieldset 的 表单 构成 : 


CSP/Wizard/resources/public/index.html 





<form 


id="wizard 


" action="/wizard 


" method="post 


<fieldset 


class="step 


id="step1 


<legend> 


Step 1</legend> 


<label> 


First Name:</label><input 


type="text 


name="firstname 


" /> 


<label> 


Last Name:</label><input 


type="text 


name=" Lastname 


n" /> 
</fieldset> 


<fieldset 


class="step 


id="step2 


<legend> 


Step 2</legend> 


<label> 


Date of Birth:</label><input 


type="date 


name="dob 


" /> 
<label> 


Homepage: </label><input 


type="url 


name="url 


W /> 
</fieldset> 


<fieldset 


class="step 


id="step3 


<legend> 


Step 3</legend> 


<label> 


Password:</label><input 


type="password 


name="pass1 


" /> 


<label> 


Confirm Password:</label><input 


type="password 


" name="pass2 


" /> 


</fieldset> 


<input 


type="button 


" jd="next 


" value="Next 


W /> 
</form> 








每 个 <fieldset> 代表 向 导 器 的 一 个 步 又 。 先 将 所 有 的 fieldset 隐 藏 起 
来 : 


CSP/Wizard/resources/public/styles.css 


{ display:block; width:8em; clear:left; float:left; 
text-align:right; margin-right: 3pt; } 


input 


{ display:block; } 
> .step { display:none; } 





之 后 的 程序 会 使 用 下 面 这 些 辅助 函数 ， 显 示 或 隐藏 相关 的 fieldset: 


CSP/Wizard/src-cljs/wizard/core.cljs 





(defn 


show [elem] 
(set! (.. elem -style -display) "block 


hide [elem] 
(set! (.. elem -style -display) "none 


set-value [elem value] 
(set! (.-value elem) value) ) 








a T AFP dot special form， 用 于 访问 对 象 深层 的 属 
性 ， 比 如 ; 


(set! (.. elem -style -display) "block 





会 被 转换 成 下 面 的 JavaScript 代 码 : 


elem.style.display = "block 








下 面 的 代码 实现 了 回 导 器 的 控制 流程 : 


CSP/Wizard/src-cljs/wizard/core.cljs 





Line 1 (defn 


[wizard (dom/getElement "wizard 


- step1 (dom/getElement "step1 


5 step2 (dom/getElement "step2 


") 

- step3 (dom/getElement "step3 
") 

- next-button (dom/getElement "next 
") 

- next-clicks (get-events next-button "click 
")] 

- (show step1) 

10 (<! next-clicks) 

- (hide step1) 

- (show step2) 

- (<! next-clicks) 

- (set-value next-button "Finish 
") 


15 (hide step2) 
- (show step3) 
- (<! next-clicks) 
- (.submit wizard)))) 


20 (set! (.-onload js/window) start) 





这 段 代 码 首先 获取 了 表单 中 每 个 需要 操作 的 元 素 的 引用 ， 并 用 之 前 写 的 
get-events 函数 获取 Next 按 钮 的 点 击 事件 的 channel〈 第 8 行 ) ; 然后 
显示 与 问 导 第 一 步 相 关 的 表单 元 素 ， 并 等 待 用 户 点 击 Next 按 钮 (第 10 
行 ); 当 用 户 点 击 时 ， 隐 藏 与 器 导 第 一 步 相 关 的 表单 元 素 ， 显 示 与 问 导 
第 二 步 相关 的 表单 元 素 ， 并 等 待 用 户 再 次 点 击 Next 按 钮 ， 以 此 类 推 ， 直 














到 所 有 步骤 都 完成 ， 最 后 提交 表单 《第 18 行 ) 。 

这 段 代 码 最 大 的 特点 是 它 没什么 特别 之 处 一 一 同 导 占 的 流程 是 串 行 的 ， 
这 上 段 代码 看 上 去 也 是 串 行 的 。 当 然 这 是 由 于 go 宏 的 作用 ， 实 际 上 这 段 
代码 并 不 是 串 行 的 一 一 我 们 创建 了 一 个 状态 机 ， 它 或 者 处 于 运行 状态 ， 
或 者 在 等 待 状态 转换 信号 时 处 于 暂停 状态 。 绝 大 多 数 时 候 我 们 不 需要 关 
心细 市 ， 只 需要 将 其 视 作 串 行 代码 即 可 。 

第 三 天 忆 结 


我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 对 core.async 版 本 的 CSP 模 
型 的 讨论 。 


第 三 天 我 们 学 到 了 什么 

ClojureScript 是 Clojure 的 一 个 子 集 ， 其 代码 可 以 编译 成 JavaScript， 这 样 
客户 端 编程 就 可 以 借助 core .async 的 力量 。 这 不 仅 可 以 在 单线 程 
JavaScript 环 境 上 运行 协作 式 多 任务 ， 还 能 解决 “回调 困境 ”。 
PERA 

查找 


e ClojureScript 中 ，core.async 支持 暂停 函数 ， 比 如 <!1 和 >! ， 但 并 
不 文 持 阻 塞 函 数 <1!1 和 >!11 。 这 是 为 什么 ? 


e 阅读 take! 的 文 要 ， 通 过 这 个 函数 ， 如 何 将 基于 channel 的 API 转 换 
为 基于 回调 函数 的 API? 这 适用 于 什么 场景 ? (提示 : 这 个 问题 与 
上 一 个 问题 相关 。 ) 

实践 


e 用 core.async 编写 一 个 简单 的 浏览 器 游戏 ， 比 如 贪 吃 蛇 、 乒 乓 球 
或 打 砖 块 。 


。 用 JavaScript 重 写 向 导 器 的 例子 。 其 与 ClojureScript 版 本 相 比 有 什么 
Xy? 











6.5 复习 


表面 上 看 ，actor 模 型 和 CSP 模 型 非常 相似 一 一 它们 均 由 独立 的 并 发 的 执 
行 单元 构成 ， 这 些 执 行 单元 之 间 都 使 用 消息 来 进行 通信 。 但 如 本 章 所 
述 ， 由 于 侧重 点 不 同 ， 这 两 种 模型 可 谓 是 大 相 径 庭 。 


优点 


与 actor 模 型 相 比 ，CSP 模 型 的 最 大 的 优点 是 灵活 性 。 使 用 actor 模 型 时 ， 
负责 通信 的 媒介 与 执行 单元 是 紧 人 actor 都 有 一 个 信箱 。 而 
使 用 CSP 模 型 时 ，channel 是 第 一 类 对 象 ， 可 以 被 独立 地 创建 、 写 入 数 
据 、 读 出 数据 ， 也 可 以 在 不 同 的 执行 单元 中 传递 。 


Clojure 语 言 的 创始 人 Rich Hickey 解 释 了 他 在 CSP 模 型 与 actor 模 型 中 选择 
前 者 的 原因 并 : 








u http://clojure.com/blog/2013/06/28/clojure-core-async-channels.html 


BT Aactor tie A IFAS 在 actor 模 型 中 ， 生 产 者 和 消费 者 还 
是 耦合 在 一 起 的 。 诚然， 我 们 可 以 用 actor 模 型 实现 消息 通信 用 的 队 
列 ( 人 们 确实 也 经 常 这 样 做 ) ， 但 actor 模 型 本 吴 就 己 经 使 用 了 队 
列 ， 用 它 来 实现 基础 的 消息 通 通信 用 的 队列 未 免 显 得 画蛇添足 。 





12 Rich Hickey 在 文章 中 主要 阐述 了 设计 core.async 的 目的 ， 其 中 一 个 目的 是 提供 消息 通信 用 
Uy 这 段 引 文正 是 从 提供 消息 通信 用 的 队列 这 一 角度 来 前 述 选择 CSP 模 型 的 原因 。 译 
注 






































从 更 务实 的 角度 来 说 ， 现 在 的 CSP 模 型 的 实现 ， 比 如 core.async 库 ， 

使 用 了 控制 反 转 技术 ， 不 仅 提 高 了 异步 程序 的 效率 ， 还 为 原本 使 用 回调 
函数 来 解决 的 应 用 领域 提供 了 一 种 显著 改进 的 编程 模型 。 本 章 中 我 们 学 
ove 异步 IO 编程 和 异步 UI 编 程 ， 然 而 还 有 很 多 其 他 模 


缺点 
如 果 将 本 章 与 上 一 章 相 比 ， 有 两 个 主题 没有 被 提 及 一 一 分 布 式 和 容错 


性 。 基 于 CSP 模 型 的 编程 语言 虽然 也 可 以 支持 分 布 式 和 容错 性 ， 但 与 基 
于 actor 模 型 的 编程 语言 不 同 ， 这 两 个 主题 并 没有 得 到 足够 的 重视 和 支持 
也 没有 基于 CSP 模 型 实现 的 OTP。 


与 使 用 线程 与 锁 模 型 和 actor 模 型 一 样 ，CSP 模 型 也 容易 受到 死 锁 影响 ， 
且 没 有 提供 直接 的 并 行 支持 。 使 用 CSP 模 型 时 ， 并 行 需要 建立 在 并 发 的 
基础 上 ， 这 也 就 引入 了 不 确定 性 。 

其 他 语言 


与 actor 模 型 类 似 ，CSP 模 型 由 Tony Hoare 于 1970 年 代 提 出 。 近 年 来 这 两 
个 模型 一 直 在 互相 借鉴 ， 共 同 进化 。 


20 世 纪 80 年 代 ， 编 程 语言 occam33 使 用 CSP 模 型 为 基石 。 然 而 在 当下 ， 
Go 语言 是 使 用 CSP 模 型 的 最 流行 的 语言 。 














B http://en.wikipedia.org/wiki/Occam_programming_language 


core.async 和 Go 语言 都 使 用 控制 反 转 来 实现 异步 任务 ， 这 一 技术 也 被 
其 他 语言 广泛 使 用 ， 包 括 F#M 、C#!5 . Nemerle!® 和 Scalal” 。 


14 phttp://blogs.msdn.com/b/dsyme/archive/2007/10/11/introducing-f-asynchronous-workflows.aspx 
b http://msdn.microsoft.com/en-us/library/hh191443.aspx 
16 https://github.com/rsdn/nemerle/wiki/Computation-Expression-macro#async 


17 http://docs.scala-lang.org/sips/pending/async.html 

结语 

CSP 模 型 和 actor 模 型 开发 社区 的 侧重 点 不 同 ， 并 各 自发 展 ， 从 而 形成 了 
两 者 之 间 的 诸多 差异 。actor 模 型 的 开发 社区 侧重 于 容错 性 和 分 布 式 ， 而 
CSP 模 型 的 开发 社区 侧重 于 效率 和 代码 表达 的 流畅 性 。 如 何在 这 两 种 模 
型 之 间 进 行 选择 ， 很 大 程度 上 取决 于 你 关注 于 哪个 方面 。 

CSP 模 型 是 本 书 介绍 的 最 后 一 种 通用 的 编程 模型 。 下 一 章 我 们 将 学 习 第 








一 个 专用 的 编程 模型 。 


第 7 章 ”数据 并 行 


数据 并 行 就 像 是 八 车 道 的 高 速 公路 。 虽 然 每 辆 车 的 速度 相对 平缓 ， 但 由 
于 多 辆 车 可 以 同时 行进 ， 所 以 通过 某 一 点 的 车 流量 还 是 很 大 的 。 


到 目前 为 止 ， 我 们 讨论 的 每 一 项 技术 都 可 以 用 于 解决 多 种 编程 问题 。 相 
比 之 下 ， 数 据 并 行 只 适用 于 很 罕 的 范围 。 顾 名 思 义 ， 数 据 并 行 是 并 行 编 
FESR, MDA RAED COPA AN, XA TRAM, 
参见 1.1 节 ) 。 














7.1 隐藏 在 笔记 本 电脑 中 的 超级 计算 机 


本 章 我 们 将 学 习 如 何 利 用 隐藏 在 笔记 本 电脑 中 的 超级 计算 机 一 一 图 形 处 

理 单 元 《GPU〉。 现 代 GPU 是 一 个 强力 的 数据 并 行 处 理 器 ， 其 用 于 数学 

计算 时 性 能 超过 了 CPU， 这 种 做 法 称 为 基于 图 形 处 理 器 的 通用 计算 
(General-Purpose computing on the GPU)， 或 GPGPU 编 程 。 


过 去 数 年 间 ， 有 许多 技术 致力 于 将 不 同 GPU 的 实现 细节 抽象 出 来 。 本 书 
将 使 用 开放 计算 语言 (OpenCL) 1 来 编写 GPGPU 代 码 。 


1 http://www.khronos.org/opencl/ 


第 一 天 ， 我 们 将 学 习 编 写 OpenCL 内 核 的 基础 知识 ， 以 及 用 于 编译 和 运 
行内 核 的 主机 程序 。 第 二 天 ， 学 习 如 何 将 内 核 映 射 到 硬件 上 。 第 三 天 ， 
学 习 OpenCL 如 何 与 开放 图 形 库 (OpenGL) 2 写 就 的 图 形 代 人 码 进 行 交 
Hy 


2 http://www.opengl.org 


7.2 ”第 一 天 : GPGPU 编 程 


今天 我 们 将 学 习 如 何 编写 一 个 简单 的 将 两 个 数组 并 行 相 乘 的 GPGPU 程 

序 ， 并 测试 这 个 程序 的 性 能 ， 来 看 看 GPU 与 CPU 相 比 性 能 会 有 多 大 提 

人 间 来 探究 一 下 为 什么 GPU 在 进行 数学 运算 时 比 
区 强力 。 


图 形 处 理 与 数据 并 行 


计算 机 图 形 学 主要 研究 如 何 处 理 数据 、 如 何 处 理 大 量 数据 以 及 如 何 快速 
处 理 大 量 数据 。3D 游 戏 的 一 个 场景 是 由 无 数 个 小 三 角形 构成 的 ， 每 一 
个 三 角形 都 需要 根据 与 视点 相关 的 透视 关系 计算 出 其 在 屏幕 上 的 位 置 ， 
处 理光 照 、 修 饰 纹理 等 ， 这 些 操 作 每 秒 钟 都 要 进行 25 次 以 











虽然 需要 处 理 的 数据 量 是 巨大 的 ， 但 其 有 一 个 非常 好 的 特性 : 施加 在 数 
据 上 的 操作 都 是 相对 简单 的 回 量 操作 或 矩阵 操作 。 因 此 这 种 场景 非常 适 
ae 一 一 多 个 计算 资源 会 在 不 同 的 数据 上 并 行 地 施加 同样 的 
ARTF o 
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亿 个 三 角形 。 虽 然 设 计 GPU 的 主要 目的 是 为 了 满足 图 形 计算 的 需要 ， 但 
是 GPU 也 可 用 于 更 广 的 领域 。 


数据 并 行 可 以 通过 多 种 方法 来 实现 。 我 们 要 学 习 其 中 的 两 种 : 流水 线 和 
多 ALU。 

流水 线 

虽然 看 上 去 将 两 数 相 乘 是 一 个 原子 操作 ， 但 如 果 从 芯片 上 的 门 电路 的 角 
度 来 看 ， 这 个 操作 实际 上 是 分 几 步 完成 的 。 这 些 步 又 通常 被 排列 成 流水 
线 型 ， 如 图 7-1 所 示 。 











操作 数 1 


—>L PLL 


操作 数 2 
图 7-1 两 个 数 乘 法 的 操作 流水 线 


图 7-1 是 一 个 有 五 个 步骤 的 流水 线 ， 如 采 每 一 步骤 需要 1 个 时 钟 周期 来 完 
成 ， 那 将 一 组 数 〈 两 个 数 ) 相 乘 现 需 要 5 个 时 钟 周 期 。 但 如 果 有 多 组 数 
要 相 乘 ， 就 可 以 通过 让 流水 线 饱 和 来 获得 更 好 的 性 能 (假设 内 存 子 系统 
足够 快 ， 可 以 及 时 提供 足够 多 的 数 ) ， 如 图 7-2 所 示 。 


- - -ET -- 
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图 7-2 ”多 组 数 乘法 的 饱和 的 操作 流水 线 

如 果 需 要 将 1000 组 数 相 乘 ， 每 组 数 需 要 5 个 时 钟 周 期 ， 看 上 去 总 共 需 要 
5000 个 时 钟 周 期 ， 而 如 图 7-2 所 示 ， 实 际 上 只 需要 略 多 于 1000 个 时 钟 周 
期 即 可 完成 。 

多 ALU 


CPU 中 负责 进行 乘法 之 类 运算 的 组 件 称 为 算术 逻辑 单元 CALU) ， 如 
图 7-3 所 示 。 
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只 要 搭配 足够 宽 的 内 存 总 线 ， 多 个 ALU 就 可 以 同时 获取 多 个 操作 数 ， 这 
样 施加 在 大 量 数据 上 的 运算 就 可 以 并 行 了 ， 如 图 7-4 所 示 。 








图 7-4 利用 多 个 ALU 对 大 量 数据 进行 并 行 操作 








GPU 的 内 存 总 线 通 党 有 256 位 或 更 宽 ， 也 就 是 说 一 次 可 以 获取 8 个 或 更 多 
个 32 位 的 浮 点 数 。 


混乱 的 局 面 


为 了 获得 更 好 的 性 能 ， 现 实 中 的 GPU 会 综合 使 用 流水 线 、 多 ALU 以 及 许 
多 本 书 尚 未 提 及 的 技术 。 这 就 增加 了 进一步 理解 GPU 的 难度 。 更 遗憾 的 
是 ， 不 同 的 (即使 是 同一 厂商 生产 的 ) GPU 之 间 的 共性 是 很 少 的 。 如 果 
我 们 必须 针对 某 个 架构 开发 代码 ，GPGPU 编 程 不 是 最 佳 选择 。 


OpenCL 定 义 了 一 种 类 C 语 言 ， 可 以 针对 多 种 染 构 抽象 地 进行 编程 。 不 同 
的 GPU 厂 商会 提供 各 自 的 编译 器 和 驱动 程序 ， 使 代码 可 以 被 编译 并 在 相 
应 的 硬件 上 运行 。 








第 一 个 OpenCL 程序 
如 果 要 利用 OpenCL 对 数组 相 乘 进行 并 行 化 ， 就 需要 先 将 工作 划分 成 多 


个 可 以 并 行 执行 的 工作 项 (work-item) 。 

工作 项 

在 编写 并 行 代码 时 ， 需 要 留意 每 个 并 行 任务 的 颗粒 度 。 通 党， 如果 每 
个 任务 只 进行 非常 少 的 工作 ， 代 码 运行 的 效率 会 很 低 ， 其 原因 是 线程 创 
建 和 线程 通信 的 代价 会 变 得 很 高 。 


相 比 之 下 ，OpenCL 的 工作 项 通常 会 很 小 。 如 果 要 将 两 个 有 1024 个 元 素 
的 数组 相 乘 ， 就 可 以 创建 1024 个 工作 项 。 如 图 7-5 所 示 。 
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图 7-5 数组 相 乘 的 工作 项 


我 们 的 任务 就 是 将 问题 拆 分 成 尽 可 能 小 的 工作 项 。OpenCEL 的 编译 器 和 
a oer 工作 项 进行 最 优 调度 ， 保 证 人 硬件 被 尽 可 能 高 效 
HH o 


OpenCL 调 优 

如 你 所 料 ， 现 实 世 界 往往 不 是 这 么 简单 。 对 OpenCL 程 序 进行 调 

， 通 党 需要 仔细 考量 可 用 的 资源 ， 并 给 编译 器 和 运行 时 一 些 提 
*， 玫 助 它们 更 好 地 调度 工作 项 。 有 时 为 了 性 能 甚至 需要 限制 并 行 
度 。 








AS 











不 过 ， 过 早 地 进行 调 优 是 编程 之 大 忌 。 大 部 分 情况 下 ， 只 需要 让 并 
行 最 大 化 、 让 工作 项 最 小 化 ， 仪 在 必要 的 时 候 才 会 考虑 进行 优化 。 


内 核 


OpenCL 的 内 核 主 要 用 于 说 明 每 个 工作 项 是 如 何 工作 的 。 下 面 是 数组 相 
乘 程序 的 内 核 : 


DataParallelism/MultiplyArrays/multiply_arrays.cl 


__kernel void 


multiply_arrays(__global const float 


__ global const float 


_ global float 


* output) { 


int 


i = get_global_id(@); 
output[i] = inputA[i] * inputB[i]; 
} 


这 个 内 核 接 受 两 个 输入 数组 指针 inputA 和 inputB ， 和 一 个 输出 数组 指 








针 output 。 它 调用 get_global_id() 来 确定 当前 正在 处 理 哪个 工作 
项 ， 并 将 inputA 和 inputB 的 对 应 元 素 相 乘 的 结果 写 入 output 的 对 应 
TUX o 


要 创建 一 个 完整 的 程序 ， 就 需要 将 这 个 内 核 伐 入 到 主机 程序 中 ， 步 又 如 
F: 


1. 创建 上 下 文 ， 内 核 和 命令 队列 都 将 运行 在 这 个 上 下 文中 ; 

2. 编译 内 核 ; 

3. 创建 输入 数据 的 缓存 区 和 输出 数据 的 缓存 区 ; 

A. 回 命令 队列 中 输入 一 个 命令 ， 让 每 一 个 工作 项 都 运行 一 次 内 核 程 序 ; 
5. 获取 结 

OpenCL 官 方 标准 定义 了 C 绑 定 (binding) 和 C++ 绑 定 。 然 而 ， 大 部 分 主 
流 语言 都 提供 了 非 官方 的 绑 定 ， 所 以 我 们 可 以 用 自己 喜欢 的 语言 来 编写 
主机 程序 。 由 于 OpenCL 官 方 标准 使 用 了 C 语 言 ， 而 且 C 语 言 能 最 好 地 摘 
述 底层 的 运行 原理 ， 因 此 我 们 一 开始 先 选 择 C 语 言 ， 第 三 天 再 学 习 用 
Java 编 写 主 机 程序 。 


接 下 来 的 几 节 将 会 完成 一 个 完整 的 OpenCL 主 机 程序 。 为 了 在 代码 中 更 
清楚 地 表达 出 底层 的 数据 结构 ， 我 们 将 写 一 些 奔 放 的 不 带 错 误 处 理 的 代 











人 码 一 一 不 过 别 担心 ， 稍 后 会 对 这 些 代 码 进 行 修 正 。 你 还 会 友 现 在 函数 参 
数 中 使 用 了 多 个 NULL 同样 别 担心 ， 在 理解 了 整体 结构 后 ， 我 们 会 
回头 仔细 学 习 这 些 API。 

创建 上 下 文 


OpenCL 上下文 表示 了 OpenCL 内核 运行 的 环境 。 要 创建 上 上下文， 需要 识 
A 以 及 平台 上 将 运行 内 核 的 设备 〈 稍 后 会 详细 讨论 平台 
和 设备 ) : 


DataParallelism/MultiplyArrays/multiply_arrays.c 





cl platform id platform; 
clGetPlatformIDs(1, &platform, NULL); 


cl_device_id device; 
clGetDeviceIDs(platform, CL_DEVICE_TYPE_GPU, 1, &device, NULL); 


cl_context context = clCreateContext(NULL, 1, &device, NULL, NULL, NULL); 


这 段 代 码 定 义 了 一 个 简单 的 上 下 文 ， 其 仅 包 含 一 个 GPU。 首 先 调 

用 clGetPlatformIDs() 来 识别 平台 ， 然 后 将 CL_DEVICE_TYPE_GPU 
{£25 clGetDeviceIDs() 来 获取 GPU 的 ID， 最 后 将 此 ID 传 给 
clCreateContext() 来 创建 上 下 文 。 

创建 命令 队列 

已 经 创建 了 一 个 上 下 文 ， 现 在 可 以 用 它 创建 命令 队列 了 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


cl_command_queue queue = clCreateCommandQueue(context, device, ©, NULL); 





clCreateCommandQueue() 接受 一 个 上 下 文 和 一 个 设备 ID， 并 返回 一 
个 命令 队列 ， 命 令 将 通过 这 个 队列 发 送 给 该 设备 。 


编译 内 核 
接 下 来 要 将 内 核 编译 成 可 以 在 设备 上 运行 的 代码 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 





char 


* source = readsource( 


"multiplyarrays.cL" 


) ; 
cl_program program = clCreateProgramWithSource(context, 1, 
(const char 


y&source, NULL, NULL); 

free(source); 

clBuildProgram(program, @, NULL, NULL, NULL, NULL); 

cl_kernel kernel = clCreateKernel(program, _"multiply_arrays"_, NULL); 





这 段 代 码 首先 将 multiply_arrays.cl 中 的 内 核 源 码 读 到 一 个 字符 串 中 
(在 本 书 配套 代码 中 可 以 看 到 read_source() 的 源码 ) ， 然 后 将 该 字 
符 串 传 给 cLCreateProgramwithSource() ， 之 后 使 

用 clBuildProgram() 进行 构建 ， 最 后 使 用 clCreateKernel() 创建 一 


个 内 核 。 
创建 缓存 区 


内 核 使 用 的 是 缓存 区 中 的 数据 ， 我 们 先 来 创建 缓存 区 : 





DataParallelism/MultiplyArrays/multiply_arrays.c 





#define NUM_ELEMENTS 1024 


cl float a[NUM ELEMENTS], b[NUM ELEMENTS]; 
random_fill(a, NUM_ELEMENTS) ; 
random_fill(b, NUM_ELEMENTS) ; 


cl mem inputA = clCreateBuffer(context, CL MEM READ ONLY | CL MEM _COPY_HOST 
sizeof 


(cl_float) * NUM_ELEMENTS, a, NULL); 


cl mem inputB = clCreateBuffer(context, CL MEM READ ONLY | CL MEM COPY_HOST| 
sizeof 


(cl float) * NUM ELEMENTS, b, NULL); 
cl mem output = clCreateBuffer(context, CL MEM WRITE ONLY, 


sizeof 


(cl_float) * NUM_ELEMENTS, NULL, NULL); 





这 段 代 码 创 建 了 两 个 数组 a 和 b ， 并 调用 random_ fill() 向 两 个 数组 中 
洪 入 随机 数 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


random_fill(cl_float array[], size_t size) { 
for 


i = @; i < size; ++i) 
array[i] = (cl_float)rand() / RAND_MAX; 
} 





从 内 核 的 角度 来 看 ， 两 个 输入 绥 存 区 inputA 和 inputB 都 是 只 读 的 
(CL_MEM_READ_ONLY ) ， 并 从 对 应 的 数组 中 复制 数据 作为 初始 值 
(CL_MEM_COPY_HOST_ PTR) 。 输 出 缓存 区 output 是 只 写 的 

(CL MEM WRITE ONLY ) > 


执行 工作 项 
终于 可 以 执行 工作 项 来 进行 数组 相 乘 了 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 





clSetKernelArg(kernel, ©, sizeof 


(cl_mem), &inputA); 
clSetKernelArg(kernel, 1, sizeof 


(cl_mem), &inputB); 
clSetKernelArg(kernel, 2, sizeof 


(cl_mem), &output); 


size_t work_units = NUM ELEMENTS; 
clEnqueueNDRangeKernel(queue, kernel, 1, NULL, &work_units, NULL, ©, NULL, 





这 段 代 码 首先 调用 clSetKernelArg() KKB AKER, PRAIA 

用 clEnqueueNDRangeKernel()， 将 NN 维 空间 (NDRange) 的 工作 项 
传 给 命令 队列 。 本 例 中 N=1 (clEnqueueNDRangeKernel() 的 第 三 个 
参数 一 一 稍 后 会 看 到 N >1 的 例子 )， 工 作 项 的 个 数 是 1024。 

获取 结果 


当 内 核 运 行 结束 ， 就 可 以 获取 结果 了 : 





DataParallelism/MultiplyArrays/multiply_arrays.c 


cl float results[NUM_ELEMENTS ]; 
clEnqueueReadBuffer(queue, output, CL_TRUE, ©, sizeof 


(cl_float) * NUM_ELEMENTS, 
results, @, NULL, NULL); 





这 段 代 码 创 建 了 result 数组 ， 并 调用 clEnqueueReadBuffer() 
output 缓存 区 的 内 容 复 制 到 该 数组 中 。 


清理 
主机 程序 最 后 的 工作 是 清理 现场 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


clReleaseMemObject(inputA) ; 
clReleaseMemObject(inputB) ; 
clReleaseMemObject(output) ; 
clReleaseKernel(kernel1) ; 
clReleaseProgram(program) ; 
clReleaseCommandQueue (queue) ; 


clReleaseContext (context) ; 





性 能 分 析 


我 们 已 经 得 到 了 一 个 内 核 ， 现 在 该 来 分 析 一 下 其 性 能 了 。 这 次 需要 使 用 
OpenCL 性 能 分 析 API; 


DataParallelism/MultiplyArraysProfiled/multiply_arrays.c 





Line 1 cl_event timing event; 

- size_t work_units = NUM ELEMENTS; 

- clEnqueueNDRangeKernel(queue, kernel, 1, NULL, &work_units, 
NULL, ©, NULL, &timing event); 


- Cl float results[NUM_ELEMENTS ]; 
- clEnqueueReadBuffer(queue, output, CL_TRUE, ©, sizeof 


(cl_float) * NUM ELEMENTS, 
- results, @, NULL, NULL); 
- cl_ulong starttime; 
16 clGetEventProfilingInfo(timing event, CL _ PROFILING COMMAND START, 
- sizeof 


(cl_ulong), &starttime, NULL); 
- cl_ulong endtime; 
- clGetEventProfilingInfo(timing event, CL_PROFILING_COMMAND_END, 
- sizeof 


(cl_ulong), &endtime, NULL); 
15 printf("Elapsed (GPU): %Lu ns\n\n 


", (unsigned long 


)(endtime - starttime)); 
- clReleaseEvent(timing event) ; 





这 段 代 码 将 事件 timing_event 4¢24clEnqueueNDRangeKernel( ) 

(第 3 行 )。 当 一 个 命令 完成 时 ， 束 可 以 调 

用 clGetEventProfilingInfo() 来 查看 记录 在 这 个 事件 中 的 时 间 信 息 
(第 10 行 和 第 13 行 〉。 


如 果 将 NUM_ELEMENTS 设置 为 100 000， 我 的 MacBook Pro 的 GPU 会 花费 
43 000 纳 秒 。 而 如 果 使 用 简单 循环 在 CPU 中 进行 同样 的 操作 : 


DataParallelism/MultiplyArraysProfiled/multiply_arrays.c 


i = @; i < NUM_ELEMENTS; ++i) 
results[i] = a[i] * b[i]; 





将 同样 的 100 00 NCRM, tE FeV 400 000 纳 秒 ， 可 见 执行 这 个 
任务 时 GPU 比 CPU 快 9 倍 。 


注意 事项 
对 数组 相 乘 进行 性 能 分 析 可 能 会 造成 一 些 误 区 。 在 执行 命令 之 前 ， 


程序 将 输入 数据 复制 到 inputA 和 inputB 缓存 区 中 ; 在 命令 完成 
后 ， 程 序 又 从 output 绥 存 区 中 将 结果 复制 出 来 。 





对 于 数组 相 乘 这 种 简单 任务 来 说 ， 这 些 数据 复制 的 成 本 相对 较 高 ， 
以 至 于 会 影响 到 整个 性 能 分 析 的 结果 。 实 际 使 用 中 ，OpenCL 应 用 
pai 操作 数 进行 更 复杂 的 操作 ， 或 者 是 对 已 经 在 GPU 上 的 数 进 
行 操 作 。 


为 简单 起 见 ， 本 例 并 没有 涉及 OpenCL API 的 细节 。 现 在 是 时 候 讨 论 它 
NTT 


多 返回 值 


很 多 OpenCL 函 数 都 会 返回 多 个 值 。 如 果 一 个 平台 文 持 多 个 设 
K>» clGetDeviceIDs() 函数 就 会 返回 多 个 设备 。 其 函数 原型 如 下 : 


cl_int clGetDeviceIDs(cl_platform_id platform, 
cl_device_type device type, 
cl_uint num_entries, 
cl_device_id* devices, 
cl_uint* num_devices) ; 





参数 devices 是 一 个 长 度 为 num_entries 的 数组 的 指针 ， 参 
数 num_devices 是 一 个 整数 的 指针 。 调 用 clGetDeviceIDs() 的 一 种 
方法 是 使 用 定 长 数组 : 


cl device id devices[8]; 
cl uint num_devices; 
clGetDeviceIDs(platform, CL DEVICE TYPE ALL, 8, devices, &num_devices); 





clGetDeviceIDs() 返回 时 ，num_devices 已 经 被 赋值 为 可 用 设备 的 
个 数 ，devices 的 前 num_devices 个 元 素 也 会 被 设置 好 。 


这 看 似 不 错 ， 但 如 宁可 用 设备 超过 8 个 呢 ? 当然 可 以 使 用 一 个 “大 ” 数 


组 ， 但 经 验 告 诉 我 们 无 论 设置 多 大 的 数组 ， 总 有 一 天 会 超过 这 个 极 值 。 
SIZ AY ze 所 有 返回 数组 的 OpenCL 函 数 都 提供 了 一 种 方式 ， 可 以 返回 
任意 大 的 数组 一 一 两 次 调用 函数 : 


cl uint num_devices; 
clGetDeviceIDs(platform, CL DEVICE TYPE ALL, ©, NULL, &num devices); 


cl_device_id* devices = (cl_device_id*)malloc(sizeof 


(cl_device_id) * num_devices); 
clGetDeviceIDs(platform, CL_DEVICE_TYPE_ALL, num_devices, devices, NULL); 





一 次 调用 clGetDeviceIDs() HY, FANULL 作为 参数 devices . Hik 
回 时 ，num_devices 已 经 被 设置 成 可 用 设备 的 个 数 。 接 下 来 只 需要 创 
圭一 个 合适 长 度 的 数组 ， 并 第 二 次 调用 clGetDeviceIDs() 。 


错误 处 理 


OpenCL 函 数 通 过 错误 码 来 报错 。CL_SUCCESS 表示 函数 运行 成 功 ， 其 他 
函数 运行 失败 。 调 用 clGetDeviceIDs() 并 进行 错误 处 理 的 
尺码 如 下 : 

















cl int status; 


cl uint num_devices; 
status = clGetDeviceIDs(platform, CL _ DEVICE TYPE ALL, ©, NULL, &num_devices 
if 


(status != CL SUCCESS) { 
fprintf(stderr, "Error: unable to determine num_devices (%d) 


\n 


", status); 
exit(1); 


} 


cl_device_id* devices = (cl_device_id*)malloc(sizeof 


(cl_device_id) * num_devices); 
status = clGetDeviceIDs(platform, CL_DEVICE_TYPE_ALL, num_devices, devices, 
if 


(status != CL_SUCCESS) { 
fprintf(stderr, "Error: unable to retrieve devices (4d)\n 


， status); 
exit(1); 
} 





Sie OpenCL 代 码 会 借助 辅助 函数 或 辅助 宏 来 消除 重复 代码 ， 类 
UF: 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arrays.c 





#define CHECK_STATUS(s) do 


{\ 
cl_int ss = (s); \ 
if 


(ss != CL_SUCCESS) { \ 
fprintf(stderr, "Error %d at Line %d\n" 


» SS, _LINE_); \ 
exit(1); \ 


(9) 
使 用 这 个 辅助 宏 : 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arrays.c 


CHECK_STATUS(clSetKernelArg(kernel, ©, sizeof 


(cl_mem), &inputA)); 








有 些 函 数 不 返 回 错误 码 ， 而 是 接受 error_ret 参数 。 比 如 
clCreateContext() 的 函数 原型 : 





cl_context clCreateContext(const 


cl_context_properties* properties, 
cl_uint num_devices, 
const 


cl device id* devices, 
void 


(CL_CALLBACK* pfn_notify)(const char 


* errinfo, 
const void 


* private_info, 
size_t cb, 
void 


* user_data), 
void 


* user_data, 


cl_int* errcode_ret); 





对 这 个 函数 的 错误 处 理 如 下 : 
DataParallelism/MultiplyArraysWithErrorHandling/multiply_arrays.c 


cl_int status; 
cl_context context = clCreateContext(NULL, 1, &device, NULL, NULL, &status) 
CHECK_STATUS(status) ; 





你 应 该 选择 一 种 





OpenCL NIS H3 不 有 其 他 一 些 常用 的 错误 处 理 方式 
最 适合 自己 的 方式 。 


一 天 总 结 ZH 


我 们 结束 了 第 一 天 的 学 习 。 第 二 天 将 深入 了 解 OpenCL 平 台 、 执 行 和 内 
存 模型 。 


一 天 我 们 学 到 了 什么 


利用 OpenCL 可 以 挖掘 出 GPU 的 数据 并 行 处 理 的 能 力 ， 并 进行 通用 纺 
程 ， 从 而 获得 很 大 的 性 能 提升 。 


。 通过 将 任务 切 分 成 工作 项 ，OpenCL 可 以 将 任务 并 行 化 。 
。 通过 编写 内 核 ， 指 定 了 单个 工作 项 是 如 何 工 作 的 。 
。 要 执行 内 核 ， 主 机 程序 必须 遵守 以 下 步骤 : 





1. 创建 上 下 文 ， 内 核 和 命令 队列 都 将 运行 在 这 个 上 下 文中 ; 
2. 编译 内 核 ; 
3. 创建 输入 数据 的 缓存 区 和 输出 数据 的 缓存 区 :; 


4. 回 命令 队列 中 输入 一 个 命令 ， 让 每 一 个 工作 项 都 运行 一 次 内 核 程 
序 ; 
5. 获取 结 

第 一 天 自习 
查找 

。 阅读 OpenCL 标 准 (The OpenCL specification)。 

。 阅读 OpenCL API 参 考 卡 片 (The OpenCL API reference card) 。 

e 定义 OpenCL 内 核 的 是 类 C 语 言 。 它 和 C 语 言 有 什么 不 同 ? 
实践 

。 修改 数组 相 乘 的 内 核 ， 使 其 能 处 理 不 同类 型 的 数组 ， 并 分 析 其 性 
能 。 处 理 不 同 数据 类 型 时 性 能 是 否 有 差异 ? 数据 类 型 的 长 度 〈( 字 市 
数 ) 是 否 会 影响 性 能 ? 是 否 会 影响 与 CPU 的 性 能 比较 结果 ? 
之 前 我 们 将 CL_MEM_COPY_HOST_PTR 传 给 cLCreateBuffer() 来 
创建 并 初始 化 缓存 区 。 修 改 主机 代码 ， 使 
用 CL _MEM USE HOST PTR 或 CL MEM ALLOC HOST PTR (除了 修 
改 参 数 ， 你 还 需要 修改 一 些 代 码 ) ， 并 分 析 性 能 。 如 何 权 衔 不 同 组 
存 分 配 策 略 的 使 用 ? 
修改 主机 代码 ， 用 clEnqueueMapBuffer() 替 
换 clCreateBuffer() ， 并 分 析 性 能 。 其 适用 于 何 种 场景 ? 不 适用 
于 何 种 场景 ? 


在 标准 C 的 基础 上 ，OpenCL 还 提供 了 大 量 的 数据 类 型 一 一 特别 
是 float4 和 ulong3 这 类 向 量 类 型 。 修 改 内 核 代 码 ， 进 行 两 组 向 量 




















的 相 乘 。 这 种 癌 量 类 型 在 主机 端 应 该 如 何 表示 ? 


7.3 第 二 天 : 多 维 空间 与 工作 组 


昨天 我 们 学 习 了 如 何 用 clEnqueueNDRangeKernel() 执行 多 个 工作 
项 ， 来 进行 一 维 数组 的 运算 。 今 天 将 扩展 到 多 维 数组 的 运算 ， 并 利用 
OpenCL 的 工作 组 来 解决 更 大 规模 的 问题 。 


多 维 工 作 项 空间 


当主 机 程序 调用 clEnqueueNDRangeKernel() 执行 内 核 时 ， 就 定义 了 
一 个 索引 空间 ， 其 中 的 每 个 点 都 有 全 局 唯一 的 ID， 并 代表 一 个 工作 项 。 


内 核 通 过 调用 get_global_id() 来 查找 当前 正在 处 理 的 工作 项 的 全 局 

ID。 上 昨天 的 例子 中 索引 空间 是 一 维 的 ， 因 此 内 核 只 需要 调 

用 get_global_id() 一 次 。 今 天 我 们 会 创建 一 个 进行 二 维 数组 乘法 的 

内 核 ， 其 需要 调用 get_global_id() Wik. 

矩阵 乘法 

让 我 们 穿越 回 大 学 时 代 的 线性 代数 课堂 ， 重 温 一 下 如 何 进行 算 阵 乘法 。 

矩阵 是 一 个 二 维 数组 。 如 果 将 一 个 w xn 的 矩阵 ? 与 一 个 m xw 的 矩阵 相 

乘 〈 注 意 第 一 个 矩阵 的 列 数 一 定 要 等 于 第 二 个 矩阵 的 行 数 ) ， 就 会 得 到 
一 个 m xn 的 矩阵 。 例 如， 将 一 个 2x4 的 矩阵 与 一 个 3x2 的 矩阵 相 乘 会 得 

到 一 个 3x4 的 矩阵 。 


3 作者 本 章 中 的 w xn 表示 的 是 一 个 n iTw 列 的 和 矩阵， 而 通常 我 们 会 用 w xn 表示 一 个 w 行 n 列 的 
和 矩阵。 我 们 将 沿用 作者 的 标记 方法 ， 请 读者 注意 此 差别 。 一 一 译 者 注 












































为 了 计算 输出 矩阵 上 位 置 为 (i , j ) 的 元 素 4 的 值 ， 需 要 将 第 一 个 矩阵 的 第 j 
ee adie eerie eee 并 将 所 有 乘积 相 
Ho 


4 作者 本 章 中 的 (i , 疙 表示 的 是 矩阵 的 第 ) 行 第 i 列 的 元 素 ， 而 通常 我 们 会 用 (i , 门 表 示 和 矩阵 的 第 ; 
行 第 i 列 的 元 素 。 我 们 将 沿用 作者 的 标记 方法 ， 请 读者 注意 此 差别 。 一 一 译 者 注 






























































a b\w x aw+by ax+bz 


Cany Z cw+dy cx+dz 





下 面 是 进行 矩阵 乘法 的 串 行 执行 代码 ;: 





#define WIDTH_OUTPUT WIDTH_B 
#define HEIGHT_OUTPUT HEIGHT_A 


float 


a[HEIGHT A][WIDTH A] = «initialize a» 


float 


b[HEIGHT B][WIDTH B] = «initialize b» 


float 


r[HEIGHT_OUTPUT ] [WIDTH_OUTPUT]; 


for 
(int 


j = ð; j < HEIGHT_OUTPUT; ++j) { 
for 


(int 


i = Ø; i < WIDTH OUTPUT; ++i) { 
float 


sum = 0.0; 
for 


(int 


k = Ø; k < WIDTH A; ++k) { 
sum += a[j][k] * b[k][i]; 


r[j][i] = sum; 





EmA, ae SS ERE ESE REAA, KERR 
法 确实 是 非常 消耗 CPU 的 。 


FEAT HE EIS, 
PEH EB EH KI NARAS: 





DataParallelism/MatrixMultiplication/matrix_multiplication.cl 





Line 1 _ kernel void 


matrix_multiplication(uint 


widthA， 
- _ global const float 


* inputA, 

- _ global const float 
* inputB, 

< __ global float 
* output) { 

5 

- int 


i = get_global_id(@); 
- int 
j = 


get_global_id(1); 


- int 


outputWidth = get global size(@); 
10 int 


outputHeight = get global size(1); 
- int 


widthB = outputWidth; 


- float 


total = 0.0; 
for 


(int 


k = @; k < widthA; ++k) { 
15 total += inputA[j * widthA + k] * inputB[k * widthB + i]; 


output[j * outputWidth + i] = total; 











这 个 内 核 是 在 一 个 二 维 索 引 空 间 中 运行 ， 索 引 空 间 中 的 每 个 位 置 都 代表 
输出 矩阵 中 的 一 个 元 素 。 内 核 通过 两 次 调用 get_global_id() 函数 来 





获取 当前 的 位 置 (第 6、7 行 〉。 


调用 get_global_size() 可 以 获得 索引 空间 的 大 小 ， 内 核 利 用 这 个 特 
性 可 以 得 到 输出 矩阵 的 大 小 (第 9、 10 行 ) 。 同时 也 得 到 了 widthB , 
为 它 与 outputWidth 相等 。 不 过 还 是 要 依靠 参 数 传 入 widthA 。 


行 的 循环 是 品行 版 本 代码 中 的 内 循环 一 唯一 的 区 别 是 ， 由 于 
OpenCL 的 缓存 区 不 能 是 多 维 的 ， 因 此 没 法 写 出 下 面 这 样 的 代码 : 

















output[j][i] = total; 





但 可 以 用 一 个 简单 的 计算 来 确定 数组 偏 移 : 


output[j * outputwidth + i] = total; 





这 个 内 核对 应 的 主机 程序 与 昨天 的 很 相似 ， 唯 一 的 区 别 是 调 
用 clEnqueueNDRangeKernel() 时 的 参数 : 


DataParallelism/MatrixMultiplication/matrix_multiplication.c 


size_t work_units[] = {WIDTH OUTPUT, HEIGHT OUTPUT}; 
CHECK_STATUS(clEnqueueNDRangeKernel(queue, kernel, 2, NULL, work_units, 
NULL, @, NULL, NULL)); 














要 创建 二 维 的 索引 空间 ， 需 要 设置 work_dim (第 3 个 参数 ) 的 值 为 2， 
并 将 global_work_size (第 5 个 参数 ) 设置 为 一 个 二 元 数组 ， 该 二 元 
数组 描述 了 每 一 维度 的 大 小 。 


比 起 昨天 的 性 能 分 析 结 果 ， 这 个 内 核 有 更 大 的 性 能 提升 。 在 我 的 
Macbook Pro 上 将 200x400 的 矩阵 与 300x200 的 矩阵 相 乘 ，CPU 花 费 了 66 
ms， 而 GPU 花费 了 3 ms， 人 性 能 提升 了 20 多 倍 。 


由 于 这 个 内 核 花费 了 很 大 的 工作 量 在 处 理 数 据 上 ， 因 此 即使 将 复制 数据 
的 成 本 考虑 进来 ， 仍 能 获得 很 大 的 性 能 提升 。 在 我 的 Macbook Pro 上 ， 
ee ms， 那 GPU 花费 的 总 时 间 为 5 ms， 仍 有 13 倍 的 性 能 
FETT 


到 目前 为 止 ， 本 书 一 直 在 使 用 一 个 假想 的 兼容 OpenCL 标 准 的 GPU。 这 
Ae or 因此 需要 了 解 如 何 确定 一 个 主机 兼容 哪 种 OpenCL 平 合 
和 设备 。 


查询 设备 信息 
OpenCL 提 供 了 多 种 用 于 查询 平台 参数 、 设 备 和 其 他 API 对 象 的 函数 。 例 


如 下 面 这 个 函数 ， 其 通过 clGetDeviceInfo() 来 查询 一 个 设备 参数 ， 
并 以 字符 串 形式 输出 : 














DataParallelism/FindDevices/find_devices.c 


print_device_param_string(cl_device_id device, 
cl device info param_id, 
const char 


* param name) { 
char 


value[1024]; 
CHECK_STATUS(clGetDeviceInfo(device, param_id, sizeof ( 


value), value, NULL)); 
printf("%s: %s\n 


} 


不 同 参数 的 类 型 是 不 一 样 的 〈 字 符 串 、 整 数 、size_t 数组 等 ) 。 通 过 
一 系列 类 似 的 函数 ， 可 以 查询 一 个 指定 设备 的 参数 : 


» param_name, value); 





DataParallelism/FindDevices/find_devices.c 





void 


print_device_info(cl_device_id device) { 
print_device_param_string(device, CL_DEVICE_NAME, "Name 


")3 
print_device_param_string(device, CL_DEVICE_VENDOR, "Vendor 


sa 
print_device_param_uint(device, CL DEVICE MAX COMPUTE UNITS, "Compute Uni 


"y 
print_device_param_ulong(device, CL_DEVICE_GLOBAL_MEM_SIZE, "GLobal Memor 


"); 
print_device_param_ulong(device, CL DEVICE LOCAL MEM SIZE, "Local Memory 


"); 
print_device_param_sizet(device, CL_DEVICE_MAX_WORK_GROUP_SIZE, "Workgrou 








本 书 配套 代码 中 有 一 个 find_devices 程序 就 是 使 用 这 样 的 代码 来 查询 


可 用 的 平台 和 设备 的 。 在 我 的 Macbook Pro 上 运行 这 段 程 序 会 得 到 以 下 
输出 : 





Found 1 OpenCL platform(s) 


Platform 6 
Name: Apple 
Vendor: Apple 


Found 2 device(s) 


Device 6 

Name: Intel(R) Core(TM) i7-3720QM CPU @ 2.66GHz 
Vendor: Intel 

Compute Units: 8 

Global Memory: 17179869184 

Local Memory: 32768 

Workgroup size: 1024 

Device 1 

Name: GeForce GT 650M 


Vendor: NVIDIA 

Compute Units: 2 

Global Memory: 1073741824 
Local Memory: 49152 
Workgroup size: 1024 





其 中 有 一 个 可 用 的 平台 ， 就 是 默认 的 Apple OpenCL 实 现 。 这 个 平台 有 两 
个 设备 : CPU 和 GPU。 


我 们 还 发 现 一 些 有 趣 的 事情 : 


e OpenCL 不 只 适用 于 GPU 〈 还 适用 于 CPU， 以 及 专用 OpenCL 加 速 
器 ) ; 


e 我 的 Macbook Pro 的 GPU 有 两 个 计算 单元 (compute unit) 《〈 稍 后 会 
学 习 什么 是 计算 单元 ) ; 


。 这 个 GPU 的 全 局 内 存 (global memory) 有 1 GiB; 


。 每 个 计算 单元 的 局 部 内 存 (local memory) 有 48 KiB， 可 支持 的 工 
作 组 的 最 大 规模 为 1024。 


人 的 平台 模型 和 内 存 模型 ， 以 及 它们 对 代码 的 影 
Hal 。 


小 乔 爱 问 : 











为 什么 OpenCL 会 适用 于 CPU? 


OpenCL 适 用 于 CPU， 这 是 很 多 人 没有 想到 的 。 事 实 上 现代 CPU 文 
持 数据 并 行 指令 已 经 很 长 时 间 了 。 例 如 Intel 处 理 器 就 文 持 流 式 
SIMD 扩 展 指令 集 (Streaming SIMD Extensions, SSE) 和 高 级 矢量 
扩展 指令 集 (Advanced Vector Extensions, AVX) 。OpenCL 可 以 
高 效 地 使 用 这 些 扩展 指令 集 和 多 核 CPU，。 


平台 模型 


OpenCL 平 台 由 连接 到 一 个 或 多 个 设备 的 主机 构成 。 每 个 设备 都 有 一 个 
或 多 个 计算 单元 ， 每 个 计算 单元 提供 很 多 处理 元 件 (processing 
element) ， 如 图 7-6 所 示 。 


计算 单元 


处 理 元 件 





图 7-6 OpenCL 平 台 模 型 
工作 项 是 在 处 理 元 件 中 执行 的 。 在 同一 个 计算 单元 中 执行 的 工作 项 的 集 





合 称 为 工作 组 。 一 个 工作 组 中 的 工作 项 共享 使 用 局 部 内 存 。 下 面 将 介 
绍 OpenCL 的 内 存 模型 。 


内 存 模型 
工作 项 执行 内 核 程 序 时 ， 会 访问 四 种 不 同 的 内 存 区 域 。 


全 局 内 存 (Global memory) : 同一 个 设备 上 执行 的 所 有 工作 项 都 可 以 
使 用 的 内 存 。 


(Constant memory) : 全 局 内 存 的 一 部 分 ， 在 执行 内 核 时 保 
FRE 


局 部 内 存 (Local memory) : 工作 组 私有 的 内 存 ， 可 用 于 工作 组 中 不 同 
工作 项 之 间 的 通信 《〈 稍 后 会 举例 说 明 ) 。 


私有 内 存 (Private memory) : 工作 项 私有 的 内 存 。 


前 几 章 介绍 过 集合 的 化 简 操 作 ， 化 简 操作 可 以 用 于 解决 很 多 问题 。 下 一 
节 将 介绍 如 何 实现 数据 并 行 版 的 化 简 操作 。 


小 乔 爱 问 : 

OpenCL 设 备 真 的 是 这 样 工作 的 吗 ? 

OpenCL 的 平台 模型 和 内 存 模型 并 不 限制 底层 人 硬件 的 工作 方式 。 它 
们 只 是 底层 人 硬件 的 一 种 抽象 一 一 不 同 的 OpenCL 设 备 有 多 种 不 同 的 
物理 架构 。 

例如 ， 某 种 OpenCL 设 备 的 局 部 内 存 是 计算 单元 私有 的 ， 而 另 一 种 
设备 的 局 部 内 存 却 是 映射 到 全 局 内 存 的 一 个 区 域 ， 某 种 设备 是 有 独 
立 的 全 局 内 存 的 ， 而 男 一 种 设备 则 是 直接 访问 主机 内 存 的 。 


这 些 架 构 上 的 差异 在 优化 OpenCL 代 码 时 意义 重大 ， 不 过 这 超出 了 
本 章 的 范围 。 


使 用 数据 并 行进 行 化 简 操 作 


| 内 核 ， 其 使 用 min() 函数 对 集合 进 
行 化 简 。 


先 用 串 行 编程 来 实现 : 




















DataParallelism/FindMinimumOneWorkGroup/find_minimum.c 





cl_ float acc = FLT_MAX; 
for (int 


i = @; i < NUM VALUES; ++i) 
acc = fmin(acc, values[i]); 





POU IS ee TIL aE Ne ele ae Ne 
组 。 


使 用 一 个 工作 组 进行 化 简 操 作 

为 叙述 方便 〈 稍 后 会 解释 其 原因 ) ， 进 行 以 下 假设 : 其 一 ， 要 化 简 的 数 
组 的 元 系 个 数 是 2 的 乘 方 ; 其 二 ， 要 化 简 的 数组 的 元 素 个 数 不 能 太 多 ， 

以 便 一 个 工作 组 就 可 以 处 理 。 在 这 种 假设 下 ， 实 现 化 简 操 作 的 内 核 为 : 


DataParallelism/FindMinimumOneWorkGroup/find_minimum.cl 





Line 1 __kernel void 


find_minimum(__global const Line 1 float 


* values, 
- _ global float 


* result, 
- __local float 


* scratch) { 
- int 


i = get_global_id(@); 
5 int 


n = get_global_size(@); 


- scratch[i] = values[i]; 
-  barrier(CLK_LOCAL_MEM_ FENCE); 
- for 


(int 


j=n/2;j>08;j/= 24 
if 


10 scratch[i] = min(scratch[i], scratch[i + j]); 
barrier(CLK_LOCAL_MEM FENCE); 


*result = scratch[@]; 





上 面 的 算法 分 为 三 个 阶段 : 


(1) 从 全 局 内 存 向 局 部 内 存 (scratch ) 复制 数组 〈 第 6 行 ) ; (2) 进行 
化 简 操 作 (第 8~12 行 〉; (3) 将 结果 复制 到 全 局 内 存 中 (第 14 行 )。 


化 简 操作 是 按照 一 个 树 形 顺序 进行 的 ， 这 棵 树 非 常 像 我 们 在 介绍 Clojure 
的 reducer 时 见 过 的 树 〈 参 见 3.3 节 ) ， 如 图 7-7 所 示 。 





图 7-7 化 简 操 作 的 树 形 顺序 


每 循环 一 次 ， 有 一 半 的 工作 项 将 失去 活性 一 一 原因 是 只 有 i <j 的 工作 项 
才 会 进行 操作 《“ 这 就 是 为 什么 要 假设 数组 的 元 素 个 数 是 2 的 乘 方 一 一 这 





样 就 能 一 直 对 数组 进行 二 分 而 不 用 担心 边界 情况 ) 。 当 只 剩 下 一 个 活动 
的 工作 项 时 退出 循环 。 每 个 活动 的 工作 项 在 每 个 循环 中 都 会 进行 一 

次 min() 操作 ， 比 较 当 前 元 素 与 刃 一 半数 组 中 的 对 应 元 素 ， 并 取 较 小 
者 。 当 退出 循环 时 ，scratch 数组 的 第 一 项 就 是 化 简 操作 的 结果 ， 工 作 
组 的 第 一 个 工作 项 负责 将 这 个 结果 复制 到 result 中 。 


这 个 内 核 为 一 个 有 趣 的 地 方 是 其 使 用 了 同步 屏障 (barrier) 《第 7 行 、 第 
11 行 ) 来 同步 对 局 部 内 存 的 访问 。 


同步 屏障 


同步 屏障 (barrier) 是 一 种 同步 手段 ， 用 来 协调 多 个 工作 项 对 局 部 内 存 
的 使 用 。 如 果 工 作 组 中 一 个 工作 项 执行 了 barrier() ， 那 么 该 工作 组 中 
其 他 工作 项 必须 都 要 执行 相同 的 parrier() ， 才 能 从 当前 节点 继续 往 下 
执行 〈 这 种 同步 方式 也 称 作 rendezvous ， 即 会 合 ) 。 在 进行 化 简 操 作 
时 ， 这 样 做 有 两 个 用 途 。 


在 所 有 工作 项 从 全 局 内 存 问 局 部 内 存 复制 数据 的 动作 全 部 完成 之 
前 ， 确 保 任 一 工作 项 都 不 会 开始 进行 化 简 操 作 ， 也 确保 了 所 有 工作 
项 都 完成 第 n 轮 循环 之 前 ， 任 一 工作 项 都 不 会 开始 第 n+1 轮 循环 。 


OpenCL 只 提供 了 宽松 的 内 存 一 致 性 。 这 类 似 于 2.2 节 介绍 的 Java 内 
存 模型 的 内 存 可 见 性 一 个 工作 项 对 局 部 内 存 进行 的 修改 并 不 保 
证 对 另 一 个 工作 项 可 见 ， 除 非 处 于 某 些 同步 点 ， 比 如 同步 屏障 。 所 
以 ， 在 每 次 循环 结束 时 执行 同步 屏障 ， 可 以 保证 第 n 轮 循环 的 结 
对 第 n +1 轮 的 所 有 工作 项 都 可 见 。 

运行 内 核 

运行 这 个 内 核 的 方法 与 我 们 之 前 看 到 的 类 似 一 一 唯一 的 区 别 是 如 何 创建 

局 部 缓存 区 : 























DataParallelism/FindMinimumOneWorkGroup/find_minimum.c 


CHECK_STATUS(clSetKernelArg(kernel, 2, sizeof 


(cl_float) * NUM VALUES, NULL)); 





调用 clSetKernelArg() 时 ， 将 arg_size 设置 为 缓存 区 的 大 小 ， 
arg value 设置 为 NULL， 这 样 就 创建 了 一 个 局 部 缓存 区 


现在 已 经 可 以 用 一 个 工作 组 进行 化 简 操 作 了 。 不 过 工作 组 的 大 小 是 存在 
限制 的 《比如 ， 我 的 Macbook Pro 的 GPU 上 不 超过 1024 个 元 素 ) 。 下 面 
再 来 看 看 如 何 使 用 多 个 工作 组 实现 并 行 。 

使 用 多 个 工作 组 进行 化 简 操 作 


要 使 用 多 个 工作 组 进行 化 简 操 作 ， 只 需要 将 输入 数组 进行 切 分 并 分 别 化 
简 ， 如 图 7-8 所 示 。 


WRI RI RL 
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图 7-8 使 用 多 个 工作 组 进行 化 简 操 作 


举例 说 明 ， 如 果 每 个 工作 组 一 次 处 理 64 个 值 ， 那 一 个 长 度 为 N 的 数组 会 
被 化 简 成 一 个 长 度 为 N /64 的 数组 。 这 个 化 简 后 的 数组 会 再 次 进行 化 简 ， 
直到 仪 剩 下 一 个 值 。 


要 做 到 这 一 点 ， 就 需要 对 内 核 做 一 些 修改 ， 这 样 才能 处 理工 作 组 (工作 
组 代表 问题 的 一 个 部 分 ) 。 为 此 ，OpenCL 会 用 局 部 ID 识 别 工作 项 ， 这 
个 ID 是 工作 项 在 对 应 工作 组 中 的 ID， 如 图 7-9 所 示 。 








全 局 ID0 


< 一 一 一 一 一 一 一 一 一 一 一 全 局 大 小 一 一 一 > 


ao) | TD Je = el Tr 





< 局 部 大 小 
局 部 ID0 
图 7-9 工作 组 中 的 局 部 ID 
下 面 这 个 内 核 使 用 了 局 部 ID: 


DataParallelism/FindMinimumMultipleWorkGroups/find_minimum.c 





__kernel void 


find_minimum(__global const float 


* values, 
_ global float 


* results, 
__local float 


* scratch) { 
> int 


He 
ll 


get_local_id(@); 
> int 


n = get_local_size(@); 
>  scratch[i] = values[get_global_id(@)]; 


barrier(CLK_LOCAL_MEM_FENCE); 
for 


(int 


j=n/2;j>08;j/= 2)1{ 
if 


(i < j) 
scratch[i] = min(scratch[i], scratch[i + j]); 
barrier(CLK_LOCAL_MEM_FENCE); 


} 
if 
(i == 9) 
> results[get_group_id(@)] = scratch[@]; 
} 





在 之 前 get_global id() 和 get_global_size() 的 位 置 ， 我 们 调用 了 
get_local_id() 和 get local size()， 其 分 别 返 回 了 工作 项 相对 于 
工作 组 起 始 位 置 的 ID 和 工作 组 的 大 小 。 在 将 值 从 全 局 内 存 复制 到 局 部 内 
存 时 ， 仍 然 调用 get_global_id() ， 而 向 results 数组 存储 结果 时 则 


调用 get_group_id()。 
还 需要 修改 主机 程序 ， 创 建 合适 数量 的 工作 组 : 


DataParallelism/FindMinimumMultipleWorkGroups/find_minimum.c 





size_t work_units[] = {NUM_VALUES}; 

size_t workgroup_size[] = {WORKGROUP_SIZE}; 

CHECK_STATUS(clEnqueueNDRangeKernel(queue, kernel, 1, NULL, work_units, 
workgroup_size, @, NULL, NULL)); 


[L CR 


如 果 将 local_work_size” 设置 为 NULL， 那 么 和 往常 一 样 ，OpenCL 平 
台 将 上 自主 创建 它 认 为 合适 数量 的 工作 组 。 通 过 显 式 设 

置 local_work_size 的 值 ， 确 保 工 作 组 的 个 数 符合 我 们 内 核 的 要 求 
(当然 ， 最 大 个 数 是 由 设备 决定 的 一 一 关于 但 看 这 个 限制 的 方法 ， 参 见 
前 面 的 “但 询 设备 信息 ”一 节 ) 








5]ocal work_size 是 clEnqueueNDRangeKernel() 的 第 6 个 参数 。 一 一 译 者 注 
A — ,二 
第 二 天 忌 结 


我 们 完成 了 第 二 天 的 学 习 。 第 三 天 将 学 习 一 个 应 用 的 例子 ， 其 使 用 
OpenCL 实 现 物理 仿真 ， 并 与 OpenGL 集 成 来 显示 结果 。 


第 二 天 我 们 学 到 了 什么 


OpenCL 定 义 了 一 些 用 于 抽象 砍 层 硬件 细 市 的 概念 ， 包 括 平 台 、 执 行 和 
内 存 模 型 。 


。 工作 项 是 在 处 理 元 件 中 执行 的 。 
。 多 个 处 理 元 件 构成 了 计算 单元 。 
。 在 同一 个 计算 单元 中 执行 的 一 组 工作 项 构成 工作 组 。 


。 一 个 工作 组 中 的 工作 项 之 间 通 过 局 部 内 存 进行 通信 ， 利 用 同步 屏障 
进行 数据 同步 ， 保 证 一 致 性 。 


BRAJ 
ARR 
。 默认 情况 下 ， 命 令 队 列 是 按 序 执行 命令 的 。 如 何 进 行 乱 序 执行 ? 


o 什么 是 事件 等 待 列表 Cevent wait list) ? 对 于 一 个 被 发 往 无 序 命令 
队列 的 命令 ， 如 何 利 用 事件 等 每 列表 来 限制 其 执行 的 时 机 ? 


e clEnqueueBarrier() 是 做 什么 用 的 ?同步 屏障 适用 于 何 种 场景 ? 














实践 


事件 等 竺 列表 又 适用 于 何 种 场景 ? 








修改 化 简 数组 的 例子 ， 使 其 文 持 任 意 个 元 素 ， 而 不 是 仅 文 持 2 的 乘 
方 个 元 系 。 


区 改 化 简 数 组 的 例子 ， 使 其 支持 多 个 设备 。 如 果 只 有 一 个 文 持 
OpenCL 的 设备 ， 也 可 以 使 用 CPU， 或 者 

用 clCreateSubDevices() 对 GPU 进行 分 区 。 你 需要 为 每 个 设备 
创建 一 个 命令 队列 ， 并 将 问题 切 分 ， 使 得 一 部 分 工作 项 在 一 个 设备 
上 上 执行， 而 另 一 部 分 工作 项 在 另 一 个 设备 上 执行 ， 并 保证 命令 队列 
之 间 的 同步 。 

今天 演示 的 化 简 算法 非常 简单 。 在 互联 网 上 搜索 一 下 ， 你 会 发 现 有 
很 多 方法 都 可 以 改进 化 简 的 效率 。 在 你 的 设备 上 能 让 化 简 变 得 多 
TR? 这些 在 GPU 上 适用 的 优化 方法 是 否 同样 适用 于 CPU? 





7.4 第 三 天 : OpenCL 和 OpenGL 一 一 全 部 在 GPU 
上 运行 

今天 我 们 将 完成 一 个 完整 的 OpenCL 应 用 ， 其 实现 一 个 物理 仿真 过 程 ， 
并 将 结果 可 视 化 。 在 这 个 过 程 中 ， 不 仅 会 学 习 如 何 创建 一 个 进行 并 行 仿 
真 的 内 核 ， 还 会 学 习 如 何 将 OpenCL 和 OpenGL 集 成 起 来 ， 将 整个 过 程 都 
放 在 GPU 上 ， 以 减少 在 不 同 缓存 区 之 间 复 制 数据 的 开销 。 

水 波纹 

今天 的 物理 仿真 的 主题 是 水 波纹 。 虽 然 这 次 仿真 不 会 十 分 精细 ， 但 作为 
游戏 中 的 一 个 效果 应 该 足够 了 比如 模拟 雨中 的 湖面 。 

LWJGL 


本 例 中 ， 我 们 将 放弃 使 用 C 语 言 ， 转 而 使 用 Java 及 其 
LWJGL (LightWeight Java Graphics Library) 库 5 ， 这 样 能 更 容易 地 创建 
跨 平 台 的 GUI。 














http://www.lwjgl.org 


LWJGL 包 装 了 OpenCL 和 OpenGL，Java 程 序 可 以 通过 它 来 使 用 OpenGL 
和 OpenCL 的 C API。OpenGL 从 名 称 上 看 就 与 OpenCL 联 系 紧密 ， 特 别 是 
运行 在 GPU 上 的 OpenCL 内 核 可 以 直接 使 用 OpenGL 的 绥 存 区 。 


使 用 LWJGL 编 写 的 OpenCL 代 码 与 之 前 C 语 言 版 本 的 代码 十 分 类 似 。 比 
如 ， 下 面 的 代码 用 于 初始 化 OpenCL 上 下 文 、 队 列 以 及 内 核 : 





DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 





CL.create(); 
CLPlatform platform = CLPlatform.getPlatforms().get(@); 
List 


<CLDevice> devices = platform. getDevices(CL_DEVICE_TYPE_GPU) ; 


CLContext context = CLContext.create(platform, devices, null, drawable, nul 
CLCommandQueue queue = clCreateCommandQueue(context, devices.get(@), ©, nul 


CLProgram program = 
clCreateProgramWithSource(context, loadSource("zoom.cl 


"), null); 
Util. 


checkCLError(clBuildProgram(program, devices.get(@), "", null)); 
CLKernel kernel = clCreateKernel(program, "zoom 


", null); 





可 以 看 出 ， 这 段 代码 的 方法 名 和 参数 都 像 极 了 C 语 言 版 本 的 代码 。 为 了 
填 平 语言 之 间 的 差异 ， 比 如 Java 中 是 没有 指针 的 ， 还 是 需要 修改 少量 代 
人 码 。 一 般 来 说 ， 是 可 以 将 C 语 言 写成 的 OpenGL 主 机 程序 通过 LWJGL 翻 
译 成 Java 版 本 的 。 





用 OpenGEL 显 示 网 格 


我 们 并 不 打算 用 过 多 的 篇 幅 来 讨论 OpenGL 元 素 。 不 过 确实 需要 花 点 时 
间 ， 来 解释 本 节 的 例子 是 如 何 显示 用 于 表现 水 波纹 的 网 格 的 ， 这 样 有 利 
于 阅读 后 面 的 OpenCL 代 码 。 


OpenGL 的 3D 场 景 是 由 三 角形 构成 的 。 在 本 例 中 ， 将 三 角形 排列 成 如 图 
7-10 所 示 的 网 格 。 


可 以 用 两 个 部 分 来 描述 每 个 三 角形 的 位 置 : 一 个 顶点 缓存 区 (vertex 
buffer) ， 其 是 顶点 《在 3D 空 间 中 的 位 置 ) 的 集合 ;一 个 索引 缓存 区 
(index buffer) ， 其 定义 了 如 何 用 顶点 来 绘制 三 角形 。 

















(O, O, 0) (1, 0, 0) (2, O, 0) 


图 7-10 三 角形 排列 成 的 网 格 


在 图 7-10 中 ， 顶 点 0 的 位 置 是 (0, 0, 0)， 顶 点 1 的 位 置 是 (1, 0, 0)， 顶 点 2 的 
位 置 是 (2, 0, 0)， 以 此 类 推 。 对 应 的 顶点 缓存 区 是 [0, 0, 0, 1, 0, 0, 2, 0, 0, 
0, 1, 0, 1, 1, 0, ...]。 


对 于 索引 缓存 区 ， 第 一 个 三 角形 使 用 了 顶点 0、1、3; 第 二 个 三 角形 使 
用 了 顶点 1、3、4; 第 三 个 使 用 了 顶点 1、2、4; 以 此 类 推 。 对 应 的 索引 
缓存 区 定义 了 一 个 三 :角形 带 (triangle strip) ， 其 通过 三 个 顶点 定义 了 
ste FATE» 之 后 的 每 个 三 角形 只 需要 额外 定义 一 个 点 即 可 ， 如 图 7- 
11 甩 不 。 











图 7-11 三 角形 带 


本 书 配套 代码 中 定义 了 一 个 Mesh 类 ， 用 来 生成 顶点 缓存 区 和 索引 缓存 
区 的 初始 值 。 下 面 的 代码 使 用 这 个 类 构造 了 一 个 64x64 的 网 格 ， 其 x 轴 
Ally 轴 的 范围 都 是 从 -1.0 到 1.0: 





DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


Mesh mesh = new 





Mesh(2.0f, 2.0f, 64, 64); 


其 z 轴 的 值 始 终 为 0 一 一 稍 后 涉及 水 波纹 动画 时 会 使 用 非 0 值 。 
生成 的 数据 会 被 复制 到 OpenGL 绥 存 区 中 : 





DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


int 


vertexBuffer = glGenBuffers(); 
glBindBuffer(GL_ARRAY_BUFFER, vertexBuffer) ; 
glBufferData(GL_ARRAY_BUFFER, mesh.vertices, GL DYNAMIC DRAW); 


int 


indexBuffer = glGenBuffers(); 
glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, indexBuffer) ; 
glBufferData(GL_ELEMENT_ARRAY_BUFFER, mesh.indices, GL_STATIC_DRAW); 





这 段 代 码 首 先 使 用 glGenBuffers() 为 每 个 缓存 区 分 配 ID， 然 后 

用 glBindBuffer() 将 其 绑 定 到 一 个 目标 上 ， 并 用 gl1BufferData() 为 
其 设置 初始 值 。 索 引 缓存 区 使 用 了 GL_STATIC_DRANW 标记 ， 意 味 着 它 是 
不 变 的 (静态 的 ) ; 而 顶点 缓存 区 使 用 了 GL_DYNAMIC_DRAW 标记 ， 意 
味 着 其 会 在 动画 帧 之 间 发 生 改变 。 


在 实现 水 波纹 的 代码 之 前 ， 先 尝试 一 个 简单 的 例子 一 一 创建 一 个 简单 的 
内 核 ， 让 其 随 独 时 间 而 放大 网 格 的 面积 。 











从 OpenCEL 内 核 访问 OpenGL 绥 存 区 
下 面 这 个 内 核实 现 了 放大 动作 : 


DataParallelism/Zoom/src/main/resources/zoom.cl 





__kernel void 


zoom(__global float 


* vertices) { 


unsigned int 


id = get_global_id(@); 


vertices[id] *= 1.01; 
} 


其 参数 是 一 个 顶点 缓存 区 ， 负 责 将 该 缓存 区 的 每 个 元 素 都 乘 以 1.01， 每 
次 调用 该 内 核 会 将 网 格 的 面积 放大 1%。 


为 了 将 硕 友 绥 存 区 传 给 内 核 ， 要 创建 一 个 OpenCL 绥 全 区 米 引 用 这 
顶点 缓存 区 





DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


CLMem vertexBufferCL = 
clCreateFromGLBuffer(context, CL MEM READ WRITE, vertexBuffer, null); 





在 负责 绘制 的 主 循环 代码 中 可 以 使 用 这 个 缓存 区 对 象 : 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 





while 


(!Display.isCloseRequested()) { 
glClear(GL COLOR BUFFER BIT | GL_DEPTH BUFFER_BIT); 
glLoadIdentity(); 
glTranslatef(0.0f, 606.6f, planeDistance); 
glDrawElements(GL_TRIANGLE_STRIP, mesh.indexCount, GL UNSIGNED SHORT, 


Display.update(); 


> Util 


. checkCLError(clEnqueueAcquireGLObjects(queue, vertexBufferCL, null, null)) 
>  kernel.setArg(@, vertexBufferCL) ; 

> clEnqueueNDRangeKernel(queue, kernel, 1, null, workSize, null, null, n 
> Util 


. checkCLError(clEnqueueReleaseGLObjects(queue, vertexBufferCL, null, null)) 
>  clFinish(queue); 


} 





这 段 代 码 在 OpenCL 内核 使 用 OpenGEL 绥 存 区 前 ， 首 先 调 用 了 
clEnqueueAcquireGLObjects() 进行 申请 。 然 后 将 这 个 缓存 区 作为 内 
核 的 一 个 参数 ， 并 像 以 前 一 样 调用 了 clEnqueueNDRangeKernel()。 
最 后 通过 clEnqueueReleaseGLObjects() 来 释放 缓存 区 ， 并 调 

用 clFinish() 来 等 待 发 往 命 令 队 列 的 命令 运行 完成 。 


运行 这 段 代码 ， 可 以 看 到 一 个 网 格 刚 开始 很 小 ， 但 快速 地 被 放大 ， 最 终 
成 为 一 个 充满 整个 屏幕 的 三 角形 。 


我 们 已 经 完成 了 一 个 简单 的 动画 ， 其 将 OpenGL 和 OpenCL 结 合 在 一 起 。 
接 下 来 可 以 实现 更 复杂 的 内 核 来 念 真水 波纹 了 。 


仿真 水 波纹 

现在 要 开始 仿真 水 波纹 的 扩散 效果 了。 每 个 波纹 由 两 个 参数 来 定义 : 一 
个 扩散 的 中 心 点 《网 格 中 的 2D 点 ) 和 一 个 开始 扩散 时 间 。 传 给 内 核 的 

参数 包括 一 个 指向 OpenGL 顶点 缓存 区 的 指针 、 一 个 含有 扩散 中 心 点 的 
数组 以 及 一 个 时 间 数 组 《时间 单 位 是 寞 秒 ) : 


DataParallelism/Ripple/src/main/resources/ripple.cl 





Line 1 #define AMPLITUDE 0.1 
- #define FREQUENCY 10.0 
- #define SPEED 0.5 
- #define WAVE PACKET 50.0 
-5 #define DECAY_RATE 2.0 
- __kernel void 


ripple(__global float 


* vertices, 
- __ global float 


* centers, 
Z _ global long 


* times, 
z int 
num_centers, 
10 long 


now) { 
- unsigned int 


id = get_global_id(@); 
- unsigned int 


offset = id * 3; 
- float 


x = vertices[offset]; 
- float 


y = vertices[offset + 1]; 
15 float 


(int 


i = @; i < num centers; ++i) { 
- if 


(times[i] != ð) { 
- float 


dx = x - centers[i * 2]; 
20 float 


dy = y - centers[i * 2 + 1]; 
- float 


d = sqrt(dx * dx + dy * dy); 
- float 


elapsed = (now - times[i]) / 1000.0; 
- float 


r = elapsed * SPEED; 
- float 


delta =r - d; 
25 z += AMPLITUDE * 
- exp(-DECAY_RATE * r * r) * 
- exp(-WAVE_PACKET * delta * delta) * 
- cos(FREQUENCY * M_PI_F * delta); 


- vertices[offset + 2] = zZ; 


3 | 


上 面 的 代码 先 获 取 了 当前 工作 项 的 顶点 在 x 轴 和 y 轴 的 位 置 (第 13、14 
行 ) 。 循 环 〈 第 17~30 行 ) 是 用 于 计算 在 z 轴 的 位 置 ， 之 后 将 这 个 位 置 写 
回 顶 点 绥 存 区 〈 第 31 行 ) 。 


在 循环 中 ， 依 次 检查 了 每 一 个 开始 扩散 时 间 非 0 的 水 波纹 。 对 于 每 一 个 
这 样 的 水 波纹 ， 首 先 计算 当前 工作 项 的 顶点 到 水 波纹 中 心 的 距离 q (第 
21 行 )， 然 后 计算 水 波纹 扩散 的 半径 r (第 23 行 )， 以 及 当前 顶点 到 波 
纹 的 距离 6 (882447) ， 如 图 7-12 所 示 。 


水 波纹 中 心 á 
d——e—6 


当前 顶 所 





图 7-12 水 波纹 的 参量 


综合 r 和 6 计算 得 到 z : 


=de g" cos(F ró) 


其 中 ，A 、D 、 多 、 正 是 常量 ， 分 别 表示 波纹 的 幅度 、 幅 度 随 着 扩散 的 
衰减 程度 、 波 纹 的 宽度 和 波纹 的 频率 。 





最 后 还 需要 修改 一 下 主机 程序 ， 创 建 缓存 区 : 


DataParallelism/Ripple/src/main/java/com/paulbutcher/Ripple.java 


numCenters 
int 


currentCenter = @; 
FloatBuffer 


centers = BufferUtils.createFloatBuffer(numCenters * 2); 
centers.put(new float 


[numCenters * 2]); 
centers.flip(); 
LongBuffer 


times = BufferUtils.createLongBuffer(numCenters) ; 
times.put(new long 


[numCenters]); 
times.flip(); 


CLMem centersBuffer = 

clCreateBuffer(context, CL MEM READ ONLY | CL_MEM_COPY_HOST PTR, centers, 
CLMem timesBuffer = 

clCreateBuffer(context, CL MEM READ ONLY | CL MEM COPY HOST_ PTR, times, n 





并 在 点 击 鼠 标 时 触发 新 的 水 波纹 : 


DataParallelism/Ripple/src/main/java/com/paulbutcher/Ripple.java 


while 


(Mouse.next()) { 
if 


(Mouse. getEventButtonState()) { 
float 


x = ((float 


)Mouse.getEventX() / Display.getWidth()) * 2 - 1; 
float 


y = ((Ffloat 


)Mouse.getEventY() / Display.getHeight()) * 2 - 1; 


FloatBuffer 


center = BufferUtils.createFloatBuffer (2); 
center.put(new float[] 


{x, y}); 
center.flip(); 
clEnqueueWriteBuffer(queue, centersBuffer, ®, 
currentCenter * 2 * FLOAT SIZE, center, null, 
LongBuffer 


time = BufferUtils.createLongBuffer (1) ; 





null); 


time.put(System 


.currentTimeMillis()); 
time. flip(); 


clEnqueueWriteBuffer(queue, timesBuffer, ©, 
currentCenter * LONG SIZE, time, null, null); 
currentCenter = (currentCenter + 1) % numCenters; 


} 





编译 并 运行 这 段 代 码 ， 多 次 点 击 网 格 ， 将 会 看 到 如 图 7-13 所 示 的 景象 。 





图 7-13 水 波纹 

我 们 成 功 了 一 一 在 GPU 上 完成 了 一 次 物理 仿真 ， 通 过 并 行 计算 不 仪 进行 
了 仿真 ， 还 对 结果 进行 了 3D 可 视 化 。 仿 真 和 可 视 化 需要 的 数据 都 在 
GPU 上 ， 不 需要 多 余 的 数据 复制 。 


第 三 天 总 结 
我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 用 OpenCL 在 GPU 上 进行 数据 





并 行 的 讨论 。 
第 三 天 我 们 学 到 了 什么 


在 GPU 上 运行 的 OpenCL 内 核 可 以 直接 使 用 在 同一 个 GPU 上 运行 的 
OpenGL 程 序 的 缓存 区 。 我 们 已 经 学 习 了 以 下 内 容 : 


e 在 OpenCL 中 用 clCreateFromGLBuffer() 为 一 个 OpenGL 绥 存 区 
创建 引用 ; 


。 将 OpenGL 绥 存 区 作为 参数 传 给 内 核 前 ， 使 
用 clEnqueueAcquireGLObjects() 提出 申请 ; 








一 /一 


。 内 核 运行 结束 时 ， 使 用 clEnqueueReleaseGLObjects() 释放 缓存 
区 。 


第 三 天 上 自习 
ARR 


。 什么 是 图 像 对 象 〈image object) ? 它 和 OpenCL 的 缓存 区 对 象 有 什 
么 区 别 ? 当 不 需要 与 OpenGL 交 互 时 ， 图 像 对 象 是 否 适 用 ? 


。 什么 是 采样 器 对 象 (sampler object) ? 它 适 用 于 解决 什么 样 的 问 


题 ? 


o 什么 是 原子 函数 (atomic function) ? 什么 场景 下 会 用 原子 函数 蔡 
代 同 步 屏 障 ? 


实践 
。 在 不 使 用 原子 函数 的 情况 下 ， 创 建 一 个 内 核 ， 其 接受 一 个 整数 缓存 
区 《整数 范围 为 0~32) ， 统 计 缓 存 区 中 每 个 整数 的 出 现 次 数 并 形成 
统计 直方 图 。 如 果 将 整数 范围 调整 为 0~1024， 方 案 应 如 何 修改 ? 


。 使 用 原子 函数 创建 内 核 再 次 解决 上 面 的 问题 ， 并 比较 这 两 个 方案 。 





7.5 复习 


出 于 茶 些 原因 ， 在 一 些 关 于 并 行 的 主流 讨论 中 数据 并 行 常 被 忽略 。 不 过 
通过 本 章 的 学 习 ， 我 们 已 经 了 解 到 数据 并 行 是 一 种 非常 强力 的 工具 ， 可 
a a 





Tt KA 


数据 并 行 非 第 适用 于 处 理 大 量 数值 数据 ， 尤 其 适合 于 科学 计算 、 工 程 计 
算 以 及 仿真 领域 ， 比 如 流体 力学 、 有 限 元 分 析 、N 体 模拟 、 模 拟 退 火 、 
蚁 群 优化 、 神 经 网 络 等 。 


GPU 不 仅 是 强大 的 数据 并 行 处 理 器 ， 在 能 耗 方面 也 表现 出 众 ， 比 传统 的 
CPU 有 更 优秀 的 GFLOPS/watt 指标 。 世 界 上 最 快 的 超级 计算 机 都 广泛 
ee ee ee a 
ae 








7GFLOPS 是 十 亿 次 浮 点 运算 / 秒 〈giga floating-point operations per second) 的 缩写 。 
GFLOPS/watt 是 用 于 衡量 GPU 效 能 比 的 单位 。 译 者 注 











i http://www.top500.org/lists/2013/06/ 
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数据 并 行 编程 ， 更 准确 地 说 是 GPGPU 编 程 ， 在 其 适用 的 领域 内 所 向 披 
靡 。 但 它 并 不 适用 于 所 有 问题 领域 。 值 得 一 提 的 是 ， 虽 然 用 数据 并 行 可 
以 解决 一 些 非 数 值 问题 (比如 自然 语言 处 理 ) ， 但 这 样 做 并 不 容易 
现今 的 工具 集 绝 大 多 数 关 注 的 是 数值 处 理 。 

对 OpenCL 内 核 进 行 调 优 是 一 个 技术 活 ， 理 解 了 的 层 架构 的 细 亨 才能 
效 地 进行 调 优 。 如 果 要 写 出 高 效 的 跨 平 台 的 代码 ， 束 会 变 得 异常 复杂 。 
在 解决 茶 些 问题 时 ， 从 主机 往 设备 上 复制 数据 会 消耗 大 量 的 时 间 ， 这 会 
减弱 甚至 抵消 我 们 从 并 行 计算 中 获得 的 收益 。 


其 他 语言 




















GPGPU 框 架 还 包括 CUDA? . DirectCompute!® 以 及 RenderScript 
Computation" 。 


9 http://www.nvidia.com/object/cuda_home_new.html 
10 http://msdn.com/directx 
11 phttp://developer.android.com/guide/topics/renderscript/compute.html 
结语 
GPGPU 编 程 是 小 规模 应 用 数据 并 行 技术 的 例子 一 一 所 谓 小 规模 ， 指 的 


是 程序 运行 在 一 台 计 算 机 上 。 下 一 半 我 们 将 学 习 Lambda 架 构 ， 使 用 它 
可 以 大 规模 (器 越 多 台 计 算 机 〉 应 用 数据 并 行 技术 。 








第 8 章 Lambda 架 构 


如 果 需 要 将 一 大 批 货物 从 国家 的 一 端 运往 另 一 端 ，18 轮 的 大 卡车 是 不 二 
之 选 。 如 果 仅 运送 一 个 快递 包 襄 ， 大 卡车 就 不 太 适 用 了 ， 因 此 毕 合 性 的 
航运 公司 也 会 使 用 一 些小 货车 进行 本 地 的 货物 收发 。 


Lambda 架 构 和 采用 了 类 似 的 方法 ， 既 使 用 了 可 以 进行 大 规模 数据 批 处 理 
的 MapReduce 技 术 ， 也 使 用 了 可 以 快速 处 理 数据 并 及 时 反馈 的 流 处 理 技 
术 ， 这 样 的 混搭 能 够 为 大 数据 问题 提供 扩展 性 、 啊 应 性 和 容错 性 都 很 优 
FERT R o 





8.1 并 行 计算 搞定 大 数据 


近年 来 ， 大 数据 时 代 的 到 来 为 数据 处 理 领 域 融 来 了 巨大 的 变化 。 不 同 于 
传统 数据 处 理 ， 大 数据 领域 广泛 使 用 了 并 行 计 算 一 一 只 要 有 足够 的 计算 
资源 就 可 以 处 理 TB 级 别 的 数据 。Lambda 架 构 是 一 种 大 数据 处 理 技术 ， 
源 于 Nathan Marz 在 BackType 和 Twitter 的 经 验 总 结 并 由 此 推广 开 来 。 


与 上 一 章 讨 论 的 GPGPU 编 程 类 似 ，Lambda 架 构 也 使 用 了 数据 并 行 技 
术 。 与 GPGPU 编 程 不 同 ，Lambda 架 构 是 站 在 大 规模 场景 的 角度 来 解雇 
问题 的 ， 它 可 以 将 数据 和 计算 分 布 到 几 十 台 或 几 百 台 机 器 构成 的 集群 上 
进行 。 这 种 技术 不 但 解决 了 之 前 因为 规模 庞大 而 无 法 解决 的 难题 ， 还 可 
以 构建 出 对 硬件 错误 和 人 为 错误 进行 容错 的 系统 。 


Lambda 架 构 包 含 了 很 多 内 容 ， 本 章 只 侧重 于 其 并 发 和 分 布 式 特性 〈 如 
需要 深入 学 习 ， 推 荐 阅读 Nathan 的 著作 Big Data [MW14]) 。 对 于 
Lambda 架 构 中 的 诸多 组 件 ， 本 书 将 侧重 介绍 两 个 主要 的 : 批 处 理 层 
(Batch Layer) 和 加 速 层 (Speed Layer) ， 如 图 8-1 所 示 。 


批 处 理 层 使 用 MapReduce 这 类 批 处 理 技术 从 历史 数据 中 对 批 处 理 视 图 进 
行 预计 算 。 这 种 计算 效率 很 高 但 延迟 也 很 高 ， 所 以 又 增加 了 一 个 加 速 
层 ， 使 用 流 处 理 等 低 延 迟 技术 从 接收 到 的 新 数据 中 计算 实时 视图 。 合 并 
这 两 种 视图 ， 就 可 以 获得 最 终 的 计算 结 


本 书写 到 现在 ，Lambda 架 构 是 最 复杂 的 专题 。 它 以 很 多 其 他 技术 为 基 

石 ， 其 中 最 重要 的 就 是 MapReduce。 第 一 天 ， 我 们 将 只 学 习 MapReduce 
技术 ， 而 忽略 其 使 用 的 场景 。 第 二 天 ， 首 先 学 习 传 统 数据 系统 中 的 问 

题 ， 然 后 学 习 在 Lambda 架 构 的 批 处 理 层 如 何 使 用 MapReduce 技 术 解 决 这 
些 问 题 。 第 三 天 ， 学 习 流 处 理 技 术 ， 以 及 如 何 使 用 这 项 技术 构造 加 速 
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结果 


图 8-1 批 处 理 层 和 加 速 层 


8.2 ”第 一 天 : MapReduce 


MapReduce 是 一 个 多 义 的 术语 。 其 可 以 指 代 一 类 算法 ， 这 类 算法 分 为 两 
个 步骤 : 对 一 个 数据 结构 首先 进行 映射 Cmap) 操作 ， 然 后 进行 化 简 
(reduce) 操作 。 之 前 的 词 频 统计 的 函数 式 版 本 正 是 这 样 的 例子 
(frequencies WH reduce 函数 实现 的 ) 。 我 们 在 3.3 节 中 讨论 过 ， 
将 算法 拆 成 映射 和 化 简 两 步 的 一 个 好 处 是 易于 并 行 化 。 


MapReduce 还 可 以 指 代 一 类 系统 一 这 类 系统 使 用 了 上 面 的 算法 ， 将 计 
算 过 程 高 效 地 分 布 到 一 个 集群 上 。 这 类 系统 不 仅 可 以 将 数据 和 数据 处 理 
O a a SH LEERE BTL A ee SRE E 


当 MapReduce 指 代 一 类 系统 时 ， 可 以 说 它 是 Google 发 明 的 ! 。 除 了 
Google， 最 流行 的 MapReduce 框 架 是 Hadoop” 。 








1 http://research.google.com/archive/mapreduce.html 


2 http://hadoop.apache.org 


今天 将 结合 前 面 的 Wikipedia 词 频 统计 的 例子 ， 用 Hadoop 实 现 一 个 使 用 
MapReduce 的 并 行 版 本 。Hadoop 支 持 多 种 编程 语言 我 们 选用 Java。 


小 乔 爱 问 : 
怎么 用 了 这 么 个 名 称 ? 


对 于 “Lambda 架 构 ” 这 个 名 称 有 多 种 推测 。 我 认为 最 好 的 解释 来 自 于 
Lambda 架 构 之 父 Nathan Marz? : 


Lambda 染 构 源 自 于 它 与 函数 式 编程 的 相似 性 。 从 本 质 上 说 ， 
Lambda 架 构 是 将 计算 函数 施加 于 大 量 数 据 的 一 种 通用 方法 。( 原 
X: The name is due to the deep similarities between the architecture 
and functional programming. At the most fundamental level, the 
Lambda Architecture is a general way to compute functions on all your 
data at once ) 








a. http://www.manning-sandbox.com/message.jspa?messageID=126599 
MA 一 4 
可 行 性 


开发 和 调试 MapReduce 程 序 的 起 点 是 在 本 地 运行 Hadoop。 要 在 一 个 集群 
上 运行 Hadoop 在 过 去 是 很 痛 兰 的 不 是 每 位 读者 都 有 足够 的 闲置 计算 
机 来 组 建 一 个 集群 ， 而 且 就 算 能 组 建 一 个 集群 ， 安 装 、 配 置 和 维护 
Hadoop 集 群 需要 大 量 的 时 间 和 精力 。 


幸运 的 是 ， 云 计算 提供 了 按 需 使 用 、 计 时 收费 的 虚拟 机 服务 ， 从 而 大 大 
改善 了 这 一 状况 。 而 且 许多 云 计 算 供应 商 直 接 提供 了 Hadoop 集 群 的 管理 
服务 ， 大 大 简化 了 集群 的 配置 和 维护 。 


我 们 将 使 用 Amazon Elastic MapReduce (EMR) 服务 来 运行 本 章 的 例子 3 
。 之 后 都 将 在 EMR 上 进行 集群 的 启动 、 停 止 、 复 制 数据 等 操作 ， 其 背后 
的 原理 同样 适用 于 所 有 Hadoop 集 群 。 





3 http://aws.amazon.com/elasticmapreduce/ 


为 了 运行 本 章 的 例子 ， 需 要 注册 一 个 Amazon AWS 账 号 ， 并 安装 AWS 和 
EMR 命 令 行 工 具 4 ,2 。 


4 http://aws.amazon.com/cli/ 


5 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-reference.html 
小 乔 爱 问 : 
如 何 搞定 Hadoop 的 版 本 ? 


Hadoop 一 直 执 着 地 使 用 一 套 混乱 的 版 本 号 体系 ， 本 书 撰写 时 其 活跃 
的 版 本 号 就 有 0.20.x、1.x、0.22.x、0.23.x、2.0.x、2.1.x 和 2.2.x。 这 
些 版 本 支持 两 套 API， 一 套 是 “ 旧 ” 的 

API (org.apache.hadoop.mapred 包 ) ， 另 一 套 是 “新 ”的 

API (org.apache.hadoop.mapreduce 包 ) 。 


另外 ， 不 同 的 Hadoop 发 行 版 会 打包 Hadoop 某 个 版 本 和 一 系列 的 第 
三 方 组 件 ape 。 


本 章 的 例子 都 会 使 用 “新 ”的 API， 并 在 Amazon 3.0.2 AMI (Hadoop 
2.2.04 ) 上 测试 通过 


a. http://hortonworks.com 
b. http://www.cloudera.com 
c. http://www.mapr.com 


d. http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-hadoop- 
version.html 


Hadoop 基 础 


Hadoop 就 是 用 来 处 理 大 量 数据 的 工具 。 如 果 你 的 数据 不 是 以 吉 字 节 或 者 
更 大 的 单位 来 度量 ， 那 就 不 适合 使 用 Hadoop。Hadoop 的 效率 源 自 于 它 
将 数据 分 块 后 分 别 交 给 多 台 计 算 机 进行 处 理 。 


我 们 很 容易 猜 到 ， 一 个 MapReduce 任 务 由 两 种 主要 的 组 件 构 成 : mapper 
Allreducer® 。mapper 负 责 将 某 种 输入 格式 〈 通 常 是 文本 ) 映射 为 许多 键 
值 对 。reducer 负 责 将 这 些 键 值 对 转换 成 最 终 的 输出 格式 (通常 也 是 一 系 
列 键 值 对 ) 。mapper 和 reducer 可 以 分 布 在 很 多 不 同 的 计算 机 上 “(它们 的 
数目 不 必 相 同 ) ， 如 图 8-2 所 示 。 


8 之 前 的 章节 将 mapper 和 reducer 分 别 译 为 “映射 器 ?和 * 化 简 器 "”， 本 章 中 为 了 和 Hadoop 的 类 名 对 
应 ， 保 留 英 文 名 称 。 译 者 注 
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图 8-2 Hadoop 数 据 流 


输入 通常 由 一 个 或 多 个 大 文本 文件 构成 。Hadoop 对 这 些 文件 进行 分 片 
(每 一 片 的 大 小 是 可 配置 的 ， 通 常 为 64 MB) ， 并 将 每 个 分 片 发 送 给 一 
个 mapper。mapper 将 输出 一 系列 键 值 对 ，Hadoop 再 将 这 些 键 值 对 发 送 给 


reducer. 


一 个 mapper 产 生 的 键 值 对 可 以 发 送 给 多 个 reducer。 键 值 对 的 键 决 定 了 哪 
个 reducer 会 接受 这 个 键 值 对 Hadoop 确 保 具有 相同 键 的 键 值 对 (无论 
是 由 哪个 mapper 产 生 的 ) 都 会 发 送 给 同一 个 reducer 处 理 。 这 个 阶段 通 各 
被 称 为 洗 牌 阶段 (shuffle phase) 。 


Hadoop 为 每 个 键 调 用 一 次 reducer， 并 传 入 所 有 与 该 键 对 应 的 值 。reducer 
将 这 些 值 合并 ， 再 生成 最 终 输出 结果 (通常 是 键 值 对 ， 也 可 以 不 是 )。 


理论 略 显 枯燥 一 之 前 介绍 过 Wikipedia 词 频 统计 的 例子 ， 现 在 来 实现 它 
的 Hadoop 版 本 。 
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0 

















词 频 统计 的 Hadoop 版 本 


为 了 让 起 步 更 平稳 ， 我 们 先 将 需求 简化 为 : 统计 几 个 文本 文件 中 的 词 频 
(之 后 会 将 需求 扩展 到 统计 Wikipedia dump 的 词 频 ) 。 


本 例 的 mapper 每 次 会 处 理 一 行文 本 ， 将 其 切 分 为 单词 ， 再 用 键 值 对 来 描 
述 每 个 单词 。 键 值 对 的 键 是 单词 本 里， 而 值 则 是 常数 1 。 对 于 每 个 单 
词 ， 本 例 的 reducer 会 对 相关 的 所 有 键 值 对 的 值 进行 求 和 ， 并 生成 一 个 结 
saa ， 该 键 值 对 的 值 是 这 个 单词 在 整个 输入 中 出 现 的 次 数 。 如 图 8- 
SATAN o 
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图 8-3” 词 频 统计 的 Hadoop 版 本 
Mapper 


我 们 的 Map 继承 了 Hadoop 的 Mapper 类 ， 其 接受 四 个 类 型 参数 : 输入 的 
键 类 型 、 输 入 的 值 类 型 、 输 出 的 键 类 型 、 输 出 的 值 类 型 : 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/Wor 





Line 1 public static class 


Map extends 


Mapper<Object 


， Text, Text, IntWritable> { 
- private final static 


IntWritable one = new 


IntWritable(1); 


- public void 


map (Object 


key, Text value, Context 


context) 
5 throws 


IOException, InterruptedException { 


- String 


line = value.toString(); 


Iterable 
<String 
> words = new 


Words(line) ; 
for 


(String 


word: words) 
10 context .write(new 


Text(word), one); 


- } 





Hadoop 表 示 输 入 和 输出 时 需要 使 用 目 己 的 数据 类 型 〈 不 能 直接 使 

用 string 或 者 Integer ) 。mapper 要 处 理 的 是 文本 数据 ， 而 不 是 键 值 
对 ， 因 此 不 需要 输入 的 键 类 型 (用 Object Ht) ， 而 输入 的 值 类 型 
是 Text 。 输 出 的 键 类 型 是 Text ， 值 类 型 是 IntNritable 。 


每 处 理 一 行 输入 文本 都 要 调用 一 次 map() 方法 ， 对 输入 的 行进 行 切 分 。 
首先 将 输入 的 行 转换 为 Java 的 String 类 型 〈 第 7 行 ) ， 然 后 将 字符 串 切 
分 为 单词 〈 第 8 行 ) ， 最 后 过 有 历 所 有 单词 ， 为 每 一 个 单词 生成 相应 的 键 
值 对 ， 其 键 是 单词 本 和 丑 ， 其 值 是 常数 1 (第 10 行 )。 





Reducer 


我 们 的 Reduce 继承 了 Hadoop 的 Reducer 类 ， 与 Mapper 类 似 ， 其 参数 
也 描述 了 输入 和 输出 的 键 值 类 型 (本 例 中 键 类 型 都 是 Text ， 值 类 型 都 





是 IntNritable ) : 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/Wotr 





public static class 


Reduce extends 


Reducer<Text, IntWritable, Text, IntwWritable> { 
public void 


reduce(Text key, Iterable 


<IntWritable> values, Context 


context) 
throws 


IOException, InterruptedException { 
int 


(IntWritable val: values) 
sum += val.get(); 
context.write(key, new 


IntWritable(sum) ) ; 
} 
} 


对 于 每 个 键 ， 都 会 调用 一 次 reduce() Ai, values 是 这 个 键 对 应 的 所 
有 值 的 集合 。reduce( ) 方法 对 这 些 值 进行 求 和 ， 并 产生 描述 某 个 单词 
出 现 总 数 的 键 值 对 。 


现在 已 经 得 到 了 一 个 mapper 和 一 个 reducer， 剩 下 的 任务 就 是 创建 一 个 
driver， 这 样 Hadoop 才 知道 如 何 让 这 几 个 部 分 运转 起 来 。 





Driver 
我 们 的 driver 是 一 个 Hadoop 的 Tool ， 实 现 了 run() 方法 : 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/Wotr 





Line 1 public class 


WordCount extends 
Configured implements 


Tool { 


- public int 
run(String[ ] 
args) throws 


Exception { 


- Configuration 


conf = getConf(); 
5 Job job = Job.getInstance(conf, "wordcount 


- job.setJarByClass(WordCount.class); 
- job.setMapperClass(Map 


.class); 
- job.setReducerClass(Reduce.class); 
- job.setOutputKeyClass(Text.class); 
10 job.setOutputValueClass(IntWritable.class) ; 
- FileInputFormat.addInputPath(job, new 


Path(args[@])); 
- FileOutputFormat.setOutputPath(job, new 


Path(args[1])); 
- boolean 


success = job.waitForCompletion(true) ; 
- return 


success ? @: 1; 
15 } 


- public static void 


main(String[ ] 


args) throws 


Exception { 
int 


res = ToolRunner.run(new Configuration 


(), new 


WordCount(), args); 
System 


.exit(res); 
20 } 
2 





这 段 代 码 主 要 是 公式 化 地 告诉 Hadoop 我 们 要 做 什么 。 首 先 ， 第 7 行 和 第 8 
行 设 置 了 mapper 和 reducer 的 类 ， 第 9 行 和 第 10 行 设置 了 输出 的 键 类 型 和 
值 类 型 。 这 里 不 需要 设置 输入 的 键 类 型 和 值 类 型 ， 因 为 默认 情况 下 
Hadoop 认 为 我 们 处 理 的 是 文本 文件 。 也 不 需要 分 别 设置 mapper 输 出 的 
键 / 值 类 型 和 reducer 输 入 的 键 / 值 类 型 ， 因 为 默认 情况 下 Hadoop 认 为 
mapper 的 输出 和 reducer 的 输入 具有 相同 的 键 / 值 类 型 。 


然后 ， 第 11 行 和 第 12 行 告知 Hadoop 如 何 获 得 输入 数据 以 及 如 何 输出 结 
果 。 最 后 ， 第 13 行 启动 任务 并 等 待 任务 结束 。 


现在 已 经 完成 了 一 个 完整 的 Hadoop 任 务 ， 可 以 输入 一 些 数据 运行 一 下 
Ta 








在 本 地 运行 





先 来 尝试 在 本 地 运行 Hadoop 任 务 。 在 本 地 运行 时 程序 无 法 并 行 执 行 ， 也 
无 法 容错 ， 不 过 可 以 用 最 小 代价 来 验证 一 下 程序 是 否 运行 正常 ， 而 不 需 
要 将 程序 部 署 到 集群 上 再 进行 验证 。 


我 们 需要 一 些 文本 作为 输入 数据 。input 文件 夹 中 有 两 个 文本 文件 ， 包 
括 即将 进行 分 析 的 文本 : 


LambdaArchitecture/WordCount/input/file1.txt 





one potato two potato three potato four 





LambdaArchitecture/WordCount/input/file2.txt 


five potato six potato seven potato more 








虽然 输入 数据 很 短 ， 显 然 不 够 吉 字 节 级 别 ， 不 过 足够 用 来 检验 代码 正确 
性 。 要 对 这 两 个 文本 文件 进行 词 频 统计 ， 可 以 用 mvn package 命令 进 
行 编 译 ， 再 调用 下 面 的 命令 在 本 地 启动 Hadoop 实 例 : 





hadoop jar target/wordcount-1.0-jar-with-dependencies.jar input output 








当 Hadoop 运 行 完成 ， 就 可 以 看 到 一 个 新 文件 夹 output ， 其 包括 两 个 文 


件 一 一 _ SUCCESS 和 part-r-66666 . SUCCESS 是 一 个 空 文件 ， 只 是 告 
诉 我 们 任务 运行 成 功 。part-r-66666 的 内 容 如 下 : 





我 们 已经 在 小 数据 规模 的 情况 下 ， 在 本 地 验证 了 任务 的 正确 性 ， 现 在 需 
要 在 真正 的 集群 上 运行 这 个 任务 ， 并 处 理 更 多 的 输入 。 


小 乔 爱 问 : 
结果 一 定 是 排序 好 的 吗 ? 


你 也 许 注意 到 了 输出 的 结果 是 按键 的 字符 序 进行 排序 的 。Hadoop 在 
键 值 对 传 给 reducer 前 会 对 键 进 行 排序 ， 这 在 一 些 场景 下 会 有 帮助 。 


但 需要 小 心 。 虽 然 键 值 对 传 给 reducer 前 会 对 键 进行 排序 ， 但 稍 后 将 
学 习 到 ， 默 认 情 况 下 reducer 之 间 是 没有 顺序 的 。partitioner 组 件 可 以 
用 于 控制 这 一 行为 ， 但 本 书 不 再 详 述 。 














在 Amazon EMR 上 运行 


要 在 Amazon Elastic MapReduce 上 运行 一 个 Hadoop 任 务 的 步骤 比较 复 
杂 。 本 书 不 会 深入 讨论 EMR， 而 仅 介 绍 一 些 必 要 的 细节 。 


输入 和 输出 


EMR 默 认 都 是 对 Amazon S37 进行 输入 和 和 输出。 包含 代码 的 JAR 包 以 及 
日 志文 件 也 会 存储 在 S3 上 。 


http://aws.amazon.com/s3/ 


AG, Bl E—-ML  FCAS SCF NS3 bucket. FH FWikipedia dump 是 
XML 文件 而 不 是 文本 文件 ， 所 以 不 太 适 用 。 本 章 的 配套 代码 中 有 一 个 
项 目 ExtractWikiText ， 可 以 从 Wikipedia dump 中 提取 需要 的 文本 。 然 
后 ， 将 这 些 文 本 上 传 到 S3 bucket 中 。 代 码 编译 生成 的 JAR 包 需要 上 传 到 
男 一 个 S3 bucket 中 。 


ISS EEK ME 


如 果 在 上 传 大 文件 时 ， 你 的 宽带 像 我 的 一 样 不 够 “ 宽 ”， 可 以 考虑 创 
建 一 个 临时 的 Amazon EC2 实 例 ， 利 用 这 个 实例 下 载 Wikipedia 

提取 文本 并 将 文本 上 传 到 S3 上 。 毫 无 疑问 ，EC2 和 S3 之 间 有 
足够 的 带宽 。 





创建 一 个 集群 
创建 EMR 的 集群 有 许多 方法 一 一 本 书 使 用 的 是 命令 行 工具 elastic- 


mapreduce : 





elastic-mapreduce --create --name wordcount --num-instances 11 \ 


--master-instance-type m1l.large --slave-instance-type m1.large \ 


--ami-version 3.0.2 --jar s3://pb7con-lambda/wordcount.jar \ 


--arg s3://pb7con-wikipedia/text --arg s3://pb7con-wikipedia/counts 


Created job flow j-2LSRGPBSR79ZV 





上 面 的 命令 创建 了 一 个 名 为 wordcount 的 集群 ， 其 含有 11 个 实例 AE 
10 备 ) ， 每 个 实例 都 是 m1.1arge 类 型 ， 并 运行 在 3.0.2 AMP 上 。 最 后 

的 几 个 参数 分 别 是 JAR 包 在 S3 上 的 位 置 、 输入 数据 在 S3 上 的 位 置 和 输出 
数据 在 S3 上 的 位 置 。 


i http://aws.amazon.com/ec2/instance-types/ 


监控 


创建 集群 时 命令 行 返回 了 一 个 job flow 的 ID， 我 们 可 以 用 这 个 ID 建立 
SSH 连 接 ， 连 接 到 刚才 创建 的 集群 : 


elastic-mapreduce --jobflow j-2LSRGPBSR79ZV --ssh 








现在 已 经 处 于 主 实例 上 的 命令 行 中 ， 通 过 查看 日 志文 件 可 以 对 任务 的 进 
度 进行 监控 





tail -f /mnt/var/log/hadoop/steps/1/syslog 


INFO org.apache.hadoop.mapreduce.Job (main): map 6% reduce 0% 


INFO org.apache.hadoop.mapreduce.Job (main): map 1% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 2% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 3% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 4% reduce 0% 











在 我 的 测试 中 ， 对 Wikipedia 进 行 词 频 统计 需要 1 小 时 多 一 点 。 运 行 完成 
后 ， 可 以 在 相应 的 S3 bucket 中 看 到 很 多 文件 : 


part-r-@0000 
part-r-@0001 
part-r-@0002 


part-r-@0028 





这 些 文件 作为 一 个 整体 包含 了 所 有 结果 。 在 每 个 结果 分 块 中 ， 结 果 是 排 
序 的 ， 但 整体 上 不 是 排序 的 《参见 “小 乔 爱 问 : 结果 一 定 是 排序 好 的 


M PS 


现在 已 经 可 以 统计 文本 文件 中 的 词 频 了 ， 不 过 最 好 能 直接 统计 Wikipedia 
dump 的 词 频 。 下 面 来 看 看 怎么 做 。 


处 理 XML 


XML 文件 其 实 只 是 对 结构 有 要 求 的 文本 文件 ， 所 以 我 们 很 容易 想到 用 
处 理 文本 文件 的 方式 来 处 理 XML 文 件 。 但 这 是 行 不 通 的 ， 原 因 是 
Hadoop 默 认 根据 换行 符 对 文件 进行 分 片 ， 而 这 可 能 会 错误 地 切 分 XML 


标签 o 
虽然 Hadoop 默 认 没 有 提供 针对 XML 的 分 片 器 ， 但 利用 另 一 个 Apache 项 


H Mahout? 提供 的 XmlInputFormat 29 可 以 达到 目的 。 为 了 使 
用 XmlInputFormat ， 需 要 对 driver 进 行 一 些 修改 : 

















9 http://mahout.apache.org 


10 
https://github.com/apache/mahout/blob/trunk/integration/src/main/java/org/apache/mahout/text/wikipe 


LambdaArchitecture/WordCountXml/src/main/java/com/paulbutcher/ 





Line 1 public int 


run(String[ ] 


args) throws 


Exception { 
- Configuration 


conf = getConf(); 
- conf.set("xmlinput.start", "<text 


")3 

- conf.set("xmLinput. end 
", "</text> 
")3 


- Job job = Job.getInstance(conf, "wordcount") ; 
-  job.setJarByClass(WordCount.class); 

- job.setInputFormatClass(XmlInputFormat.class) ; 
- job.setMapperClass (Map 


.class); 
16 job.setCombinerClass(Reduce.class) ; 
- job.setReducerClass(Reduce.class); 
-  job.setOutputKeyClass(Text.class); 
-  job.setOutputValueClass(IntWritable.class) ; 
- FileInputFormat.addInputPath(job, new 


Path(args[@])); 
15 FileOutputFormat.setOutputPath(job, new 


Path(args[1])); 


- boolean 


success = job.waitForCompletion(true) ; 
E return 


success ? @: 1; 


Ba 





在 这 段 代 码 中 ， 使 用 setInputFormatClass() (第 8 行 ) 

将 XmlInputFormat 设置 为 分 片 器 ， 并 且 配 置 xmlinput.start 和 

am La eon (第 3 行 和 第 4 行 ) 来 告诉 分 片 器 我们 关注 的 是 哪个 标 
仔细 查看 xmlinput.start 的 值 ， 你 可 能 会 觉得 有 点 奇怪 一 一 这 个 值 为 
<text ， 看 上 去 是 个 残缺 的 XML 标签 。Xm1lInputFormat 对 XML 并 不 
进行 完整 的 解析 ， 而 只 是 匹配 起 始 和 终止 的 模式 。 由 于 <text> 标签 中 
可 以 设置 属性 ， 所 以 不 能 设置 xmlinput.start 为 <text> ， 而 需要 设 
置 成 <text 。 


还 需要 修改 一 下 mapper: 


LambdaArchitecture/WordCountXml/src/main/java/com/paulbutcher/ 


private final static Pattern 


textPattern = 
Pattern 


.compile("*<text 


.*>(.*)</text>$ 


, Pattern 


.DOTALL); 
public void 


map(Object 


key, Text value, Context 


context) 
throws 


IOException, InterruptedException { 


String 


text = value.toString(); 
Matcher 


matcher = textPattern.matcher (text); 
if 


(matcher. find()) { 
Iterable 


<String 


> words = new 


Words(matcher.group(1)); 
for 


(String 


word: words) 
context .write (new 


Text(word), one); 
} 
} 





每 个 分 片 由 匹配 xmlinput.start 和 xmlinput.end 标签 之 间 的 文本 

《包含 被 匹配 的 标签 ) 构 成。 在 进行 统计 之 前 ， 这 段 代 人 码 还 用 了 一 点 正 
则 表达 式 的 技巧 来 去 除 <text></text> 标签 〈 防 止 text 这 个 词 的 计数 
不 准 ) 。 


你 也 许 已 经 注意 到 driver 中 使 用 了 setCombinerClass() (第 10 行 ) 来 


设置 combiner。combiner 是 一 种 优化 手段 ， 使 键 值 对 可 以 在 发 往 reducer 
前 进行 合并 《〈 如 图 8-4 所 示 ) 。 我 进行 了 一 下 测试 ， 程 序 的 运行 时 间 从 1 
个 多 小 时 下 降 到 45 分 钟 。 


















("one",1) 
("potato",3) 

("two",1) 
("three",1) 


("one",1) 
("potato",1) 
("two",1) 
("potato",1) 


one potato 
two potato 







-—- > 
three potato 








four 






("one", ] ) 
("potato",6) 
("two",1) 
("three",1) 


















("five",1) 
("potato",1) 
("six",1) 
("potato",1) 


("five",1) 
("potato",3) 
(oStx 1) 

("seven",1) 


five potato 
six potato 







seven potato 
more 


— — > Map 





一 -一 > Combine 





图 8-4 使 用 combiner 


在 我 们 的 场景 中 ，reducer 起 的 作用 和 combiner 一 样 ， 但 在 其 他 场景 中 可 
能 就 需要 单独 的 combiner. 当 设置 了 一 个 combiner 时 ; Hadoop 并 不 能 保 
证 一 定 会 使 用 它 ， 所 以 必须 确定 我 们 的 算法 不 依赖 于 是 否 调用 
combiner， 也 不 依赖 于 调用 了 多 少 次 combiner。 


小 乔 爱 问 : 
Hadoop 只 有 速度 优势 吗 ? 


一 个 通常 的 误解 是 : Hadoop 的 优势 只 有 速度 提升 比 起 使 用 一 台 
计算 机 ，Hadoop 可 以 在 多 台 计 算 机 上 更 快 地 处 理 海量 的 数据 ， 这 的 
确 是 个 诱 人 的 优势 。 但 它 还 有 其 他 优势 。 


© 当 涉 及 数 百 台 计 算 机 构成 的 集群 时 ， 系 统 骨 沉 不 再 是 一 个 “ 极 
少 发 生 的 风险 ”， 而 是 一 种 “很 有 可 能 及 生 的 必然 "。 如 果 一 台 
计算 机 的 骨 温 就 会 引发 整个 系统 骨 混 ， 那 么 这 个 系统 基本 上 没 
有 实用 价值 。 因 此 ，Hadoop 天 生 就 具有 处 理 错误 和 从 错误 中 恢 





复 的 能 


。 与 上 一 条 相关 ， 我 们 不 仅 要 考虑 将 节点 崩 演 时 正在 处 理 的 任务 
重新 执行 ， 还 需要 考虑 当 存 储 发 生 故 障 时 如 何 保证 数据 不 丢 
失 。Hadoop 默 认 使 用 Hadoop 分 布 式 文件 系统 CHDFS) ， 这 个 
有 容错 能 力 的 分 布 式 文件 系统 可 以 在 多 个 节点 之 间 元 余数 据 。 


。 涉及 吉 字 贡 级 别 以 上 的 数据 时 ， 就 不 能 将 所 有 中 间 数 据 或 结 
全 部 存放 在 内 存 中 。Hadoop 在 处 理 过 程 中 将 键 值 对 存储 在 
ee 














综 上 所 述 ， 这 些 优点 都 是 革命 性 的 。 本 书 只 在 本 章 中 使 用 了 完整 的 
Wikipedia dump 作 为 词 频 统计 的 输入 数据 ， 这 并 不 是 巧合 一 一 
MapReduce 是 本 书 介绍 的 唯一 能 处 理 这 个 量 级 数据 的 技术 。 
BKB 


第 一 天 的 学 习 结 束 了 。 第 二 天 我 们 将 学 习 如 何 用 Hadoop 实 现 Lambda 架 
构 的 批 处 理 层 。 


第 一 天 我 们 学 到 了 什么 
将 一 个 问题 拆 分 成 一 个 映射 操作 和 一 个 化 简 操 作 ， 使 其 更 容易 被 并 行 
化 。MapReduce， 在 本 章 中 使 用 的 这 个 术语 特 指 一 个 使 用 多 人 台 计 算 机 
的 、 由 映射 操作 和 化 简 操 作 构成 的 、 高 效 且 容错 的 分 布 式 系统 。Hadoop 
就 是 一 个 MapReduce 系 统 ， 其 可 以 做 到 : 

。 将 输入 分 配给 多 个 mapper， 每 个 mapper 都 会 产生 一 些 键 值 对 ; 


这 些 键 值 对 会 被 及 送 给 reducer， 产 生 最 终 的 输出 (通常 也 是 一 系列 
键 值 对 ) ; 


每 个 reducer 对 应 的 键 是 不 同 的 ， 因 此 具有 相同 键 的 键 值 对 都 会 发 送 
给 同一 个 reducer 进 行 处 理 。 


第 一 天 目 习 


ARR 


e 阅读 Hadoop streaming API 的 文档 ， 通 过 Hadoop streaming 可 以 使 用 
其 他 语言 创建 MapReduce 任 务 ， 比 如 Ruby、Python 或 Perl。 


e 阅读 Hadoop pipes API 的 文档 ， 通 过 Hadoop pipes 可 以 用 C++ 创建 
MapReduce 任 务 。 


e 有 很 多 基于 Hadoop Java API 的 库 ， 利 用 它们 可 以 很 容易 地 创建 复杂 
的 MapReduce 任 务 。 比 如 Cascading、Cascalog 和 Scalding。 


实践 


。 在 词 频 统 计 程 序 运 行 时 ， 和 尝试 干掉 集群 中 的 一 台 计 算 机 (不 要 干 挥 
EH, 点 Hadoop 不 能 处 理 主 节 点 的 月 沉 ) 。 检 和 碍 整个 过 程 中 的 日 
志 ， 看 看 Hadoop 如 何 重 试 故 障 节点 上 的 任务 。 检查 最 终结 果 ， 其 正 
确 性 不 应 受到 故障 的 影响 。 


现在 的 词 频 统计 程序 能 很 好 地 完成 本 职工 作 ， 但 如 果 想 知 

道 “Wikipedia 最 常用 的 100 个 词 是 什么 ? ”， 束 需要 改进 一 下 程序 。 
利用 二 级 排序 (Secondary Sort) 可 以 获取 全 局 排序 的 结果 【网络 上 
有 许多 文章 介绍 如 何 实 现 ) 。 


。 Top ten 模 式 是 解决 “Wikipedia 最 常用 的 词 * 这 个 问题 的 男 一 种 方法 。 
利用 这 个 模式 尝试 解决 一 下 。 


o 有 些 问题 无 法 用 单个 MapReduce 任 务 来 解决 一 一 经 党 需要 串联 多 个 
任务 ， 前 一 个 任务 的 输出 是 后 一 个 任务 的 输入 。 以 PageRank 算 法 为 
例 ， 创 建 一 个 Hadoop 程 序 来 计算 每 个 Wikipedia 页 面 的 page rank. 

多 少 个 迭代 后 结果 才能 达到 稳定 ? 








8.3 第 二 天 : 批 处 理 层 


昨天 学 习 了 如 何 用 Hadoop 在 一 个 集群 中 进行 并 行 计 算 。MapReduce 适 用 
于 解决 各 种 各 样 的 问题 ， 今 天 我 们 将 学 习 在 Lambda 架 构 中 如 何 使 用 
MapReduce. 


不 过 ， 在 正式 学 习 之 前 先 来 了 解 一 下 Lambda 架 构 要 解决 的 主要 问题 
传统 数据 系统 有 什么 缺陷 ? 


传统 数据 系统 的 缺陷 


数据 系统 不 是 一 个 新 概念 一 一 从 计算 机 友 明 之 初 ， 数 据 库 束 一 直人 负 贡 存 
储 和 处 理 数 据 。 传 统 数 据 库 适用 于 一 台 计 算 机 ， 但 随 着 处 理 的 数据 量 越 
来 越 大 ， 数 据 库 就 必须 使 用 多 台 计 算 机 。 


扩展 性 


利用 东 些 技术 《比如 复制 、 分 片 等 ) 可 以 将 传统 数据 库 扩 展 到 多 人 台 计 算 
机 上 ， 但 随 着 计算 机 数量 和 查询 数量 的 增加 ， 应 用 这 种 方案 会 变 得 越 来 
越 困 难 。 超 过 一 定 程度 ， 增 加 计算 机 资源 将 无 法 继续 改善 性 能 。 


维护 成 本 


维护 一 个 跨 多 台 计 算 机 的 数据 库 的 成 本 是 比较 高 的 。 如 果 要 求 维护 时 不 
能 集 机 ， 那 么 维护 将 变 得 更 加 困难 一 一 比如 对 数据 库 进行 重新 分 片 。 随 
着 数据 量 和 查询 数量 的 增加 ， 容 错 、 备 份 、 确 保 数 据 一 致 性 等 工作 的 难 
度 都 会 呈 儿 何 级 数 增长 。 


RRE 


3 ill a A E E RI H Ja H Ge EE E S Ram Fs BES FZ 
给 哪 一 合计 算 机 ， 以 及 应 该 更 新 哪 一 个 数据 分 片 〈 每 个 更 新 所 对 应 的 分 
片 通常 不 一 样 ， 规 则 也 比较 复杂 ) 。 程 序 员 习 惯 使 用 的 许多 特性 〈 例 如 
MSS HSC) 在 数据 库 分 片 后 都 无 法 使 用 。 也 就 是 说 程序 员 必 须 显 式 
处 理 失败 的 事务 并 进行 重 试 。 这 些 都 增加 了 使 用 传统 数据 库 的 复杂 上 度 ， 
也 增加 了 出 错 的 可 能 。 



































人 为 错误 


讨论 容错 性 时 很 容易 被 急 略 的 残 是 人 为 错误 。 许 多 数据 故障 不 是 由 于 存 
储 故 障 引 起 的 ， 而 是 由 于 管理 员 或 开发 人 员 的 人 为 错误 引起 的 。 如 果 运 
气 比较 好 ， 这 类 错误 可 以 被 快速 定位 ， 并 通过 还 原 备份 来 恢复 ， 但 不 是 
所 有 错误 都 可 以 轻易 解决 。 设 想 一 人 下， 如果 有 一 个 隐藏 了 几 周 的 数据 错 
误 突然 引发 了 大 面积 的 骨 沉 ， 我 们 又 该 如 何 修 复数 据 库 呢 ? 


有 了 时， 我 们 可 以 分 析 错 误 的 影响 范围 ， 并 写 一 个 临时 的 脚本 来 修复 数据 
库 。 有 时， 我 们 可 以 通过 重 放 数据 库 日 志 假 设 数据 库 日志 记 录 了 所 有 
必要 的 信息 ) 来 回 滚 这 个 错误 。 有 时 ， 我 们 只 能 承认 运气 不 佳 。 每 次 都 
依赖 运气 可 不 是 一 个 好 的 长 久之 计 。 


报表 与 分 析 


传统 数据 库 擅长 于 运营 支持 ， 即 处 理 日 常 的 业务 数据 。 如 果 要 处 理 历 史 
数据 ， 比 如 生成 报表 或 进行 数据 分 析 ， 传 统 数 据 库 的 效率 天 比较 低 了 。 


典型 的 解决 方案 是 在 独立 的 数据 仓库 中 用 男 一 种 格式 来 维护 历史 数据 。 
数据 从 业务 数据 库 同 数据 仓库 的 迁移 过 程 就 是 著名 的 禁 取 (extract) ~ 
te (transform) ~ WM Coad) (简称 ETL) 。 这 种 方案 不 仅 复杂 ， 
而 且 需 要 准确 预测 将 来 我 们 需要 什么 信息 。 有 时 会 碰 到 这 种 情况 : 由 于 
0 ee pee 


现在 学 习 Lambda 架 构 如 何 解决 这 些 问 题 。Lambda 架 构 不 仅 能 处 理 现代 
应 用 中 的 大 量 数据 ， 而 且 其 使 用 也 比较 简单 ， 可 以 从 技术 性 故障 和 人 为 
故障 中 恢复 ， 并 维护 完整 的 历史 数据 ， 这 样 就 可 以 在 未 来 生成 任何 想 要 
的 报表 ， 进 行 任何 想 要 的 分 析 。 

永恒 的 真相 


我 们 可 以 将 信息 分 为 两 类 
忌 [e] 















































原始 数据 及 源 于 原始 数据 的 ) 衍生 信 





以 Wikipedia 的 页 面 为 例 ，Wikipedia 的 页 面 是 被 持续 更 新 的 ， 也 就 是 说 
今天 看 到 的 茶 个 页 面 和 昨天 看 到 的 同一 个 页 面 的 内 容 可 能 是 不 同 的。 但 
古 在 Wikipedia 的 结构 中 ， 页 面 并 不 是 原始 数据 一 一 一 个 页 面 是 由 许多 页 




















献 者 的 知 干 次 编辑 记录 构成 的 。 这 些 编辑 记录 才 是 原始 数据 ， 而 页 面 是 
其 衍生 信息 。 


另外 ， 虽 然 页 面 每 天 都 在 变 ， 但 编辑 记录 是 不 变 的 。 一 旦 贡献 者 进行 了 
一 次 编辑 ， 这 个 编辑 记录 就 不 会 改变 了 了。 后 续 的 编辑 记录 可 能 影响 或 回 
ne ae 也 会 影响 到 页 面 的 内 容 ， 但 编辑 记录 本 里 是 不 
在 任何 数据 系统 中 信息 都 可 以 这 样 分 类 。 银 行 账户 的 余额 是 衍生 信息 ， 
而 账户 的 收入 和 支出 是 原始 数据 ; Facebook 的 friend graph 是 衍生 信息 ， 
而 添加 好 友和 删除 好 友 的 事件 是 原始 数据 。 与 Wikipedia 的 编辑 记录 类 
似 ， 收 入 记录 、 文 出 记录 、 添 加 好 友 事 件 、 删 除 好 友 事 件 都 是 不 变 的 。 


原始 数据 是 永恒 的 真相 ， 也 是 Lambda 架 构 的 基础 。 下 一 节 我 们 将 学 习 
其 如 何 利用 原始 数据 来 解决 传统 数据 系统 碰 到 的 问题 。 


小 乔 爱 问 : 
原始 数据 真 的 都 是 不 变 的 ? 


乍 看 上 去 ， 有 一 些 原 始 数 据 不 大 可 能 是 永远 不 变 的 。 比 如 用 户 的 家 
庭 住址 ? 如 果 用 户 搬家 了 呢 ? 

这 类 数据 可 以 是 不 变 的 我 们 只 需要 添加 一 个 时 间 惟 。 以 前 我 们 
的 记录 是 Charlotte lives at 22 Acacia Avenue， 而 添加 时 间 惟 后 的 记 


录 是 On March 1, 1982, Charlotte lived at 22 Acacia Avenue。 这 样 
无 论 将 来 发 生 什 么 ， 原 始 数据 仍然 是 不 变 的 。 


数据 还 是 原始 的 好 

建议 大 家 现在 集中 注意 力 。 如 前 所 述 ， 不 变性 和 并 行 计算 是 天 作 之 合 。 
美好 的 设想 

现在 来 做 一 个 简短 的 设想 。 假 如 有 一 个 无 限 快 的 计算 机 ， 可 以 在 瞬间 处 


理 TB 级 别 的 数据 。 那 么 只 需要 保存 原始 数据 而 不 需要 保存 衍生 信息 ， 
因为 在 需要 的 时 候 可 以 由 原始 数据 推导 出 衍生 信息 。 












































在 这 种 情况 下 ， 由 于 数据 是 不 变 的 ， 存 储 数据 的 成 本 大 幅 下 降 ， 束 大 大 
降低 了 传统 数据 库 系 统 的 复杂 上 度 。 存 储 介质 只 需要 让 我 们 附加 新 的 数据 
和 
1 TL] I a 


更 进一步 ， 当 数据 不 可 变 时 ， 多 个 线程 可 以 并 行 地 访问 数据 ， 而 不 用 担 
心 相互 之 间 的 作用 。 我 们 可 以 对 数据 进行 复制 ， 再 对 副本 进行 操作 ， 而 
不 用 担心 数据 过 期 ， 所 以 在 集群 中 分 布地 处 理 数据 就 变 得 非常 容易 。 


小 乔 爱 问 : 
删除 数据 该 怎么 处 理 ? 


有 些 情况 下 ， 我 们 有 足够 的 理由 删除 原始 数据 。 原 因 可 能 是 数据 已 
经 不 再 使 用 了 ， 也 可 能 是 审计 或 安全 的 因素 〈《 比 如， 数据 保护 法 规 
可 能 要 求 数据 存在 一 段 时 间 后 不 再 继续 保存 ) 。 


这 并 不 意味 着 我 们 之 前 说 错 了 。 尽 管 可 以 选择 遗 瑟 那 些 要 被 删 除 的 
原始 数据 ， 它 们 仍然 是 不 变 的 。 


当然 ， 设 想 终归 是 设想 ， 不 过 见识 了 MapReduce 的 威力 之 后 ， 你 会 
惊讶 于 我 们 是 如 此 接近 理想 。 


RE JLP) 变 为 现实 


如 果 能 够 准确 预测 出 未 来 会 对 原始 数据 进行 怎样 的 查询 ， 就 可 以 预计 算 
出 一 个 批 处 理 视图 ， 这 个 视图 包 合 这 些 碍 询 将 要 返回 的 衍生 信息 ， 或 
者 那些 可 以 计算 出 这 些 衍生 信息 的 数据 。Lambda 架 构 的 批 处 理 层 融 是 
用 来 计算 这 些 批 处 理 视 图 的 。 


批 处 理 视图 可 以 包含 衍生 信息 ， 比 如 : 假设 要 用 一 系列 编辑 记录 来 构建 
i A 
J 页 面 内 容 。 


批 处 理 视 图 也 可 以 包含 可 以 计算 出 衍生 信息 的 数据 ， 这 类 情况 会 稍微 复 
杂 一 些 ， 这 也 是 今天 的 讨论 重点 。 我 们 将 用 Hadoop 来 构造 批 处 理 视 图 ， 
通过 批 处 理 视 图 可 以 查询 某 个 Wikipedia 贡 献 者 在 某 一 段 时 间 内 进行 了 多 
少 次 编辑 。 

















Wikipedia 贡 献 者 

我 们 理想 中 的 查询 应 该 是 这 样 的 : “Fred Bloggs 在 2012 年 6 月 5 日 下 午 3:15 
到 2012 年 6 月 7 日 上 午 10:45 之 间 进 行 了 多 少 次 编辑 ? ”为 了 达到 这 个 目 

的 ， 就 需要 维护 每 个 编辑 记录 的 编辑 时 间 并 进行 索引 。 如 果 这 种 查询 是 
必要 的 ， 那 我 们 的 成 本 会 比较 高 ， 不 过 实际 上 不 需要 如 此 细 粒 度 的 查询 
按 天 来 维护 数据 已 经 绰绰有余 了 。 


所 以 批 处 理 视图 就 会 按 天 进行 统计 ， 如 图 8-5 所 示 。 
如 果 只 需要 查询 几 天 的 状况 ， 那 现在 已 经 满足 要 求 了 ， 但 如 果 要 查询 几 
个 月 的 状况 ， 束 需要 合并 许多 值 (如果 需要 一 年 的 数据 ， 就 需要 统计 
365 天 的 贡献 次 数 ) 。 如 果 能 同时 按 天 和 按 月 维护 数据 ， 就 可 以 减少 计 
算 工作 量 ， 如 图 8-6 所 示 。 

Fred 的 贡献 Fred 的 贡献 次 数 
2012-02-26 15:04:16 
2012-02-26 16:23:43 























2012-02-26: 3 

9012-02-26 18:59:03 : 
ed 9012-02-27: 1 

9012-02-27 12:56:32 : 
00:32 2012-02-28:2 

9012-02-28 17:09:12 3 
9012-02-28 18:54:28 2012-03-02: 1 
9012-03-05: 1 


2012-03-02 12:00:36 
2012-03-05 10:34:19 


图 8-5 ” 按 天 统计 的 批 处 理 视图 


Fred 的 贡献 Fred 的 贡献 次 数 


201 2-02-26 1 | 6 2012-02-26: 3 
2012-02-26 16:23:43 
pore 2012-02-27: 1 
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sm a -02: 
2012-02-28 17:09:12 
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201 2-03-02 12:00:36 201 2-03: 2 


2012-03-05 10:34:19 
图 8-6 按 天 和 按 月 统计 的 批 处 理 视图 
计算 一 年 中 茶 用 户 的 贡献 数 时 ， 计 算 次 数 从 365 次 降 到 了 12 次 。 通 过 增 


加 或 删 减 以 天 为 单位 的 数据 ， 瓯 可 以 处 理 开 始 时 间或 结束 时 间 不 是 整 月 
的 查询 时 间 区 段 ， 如 图 8-7 所 示 。 





< 查询 时 间 区 段 一 -> 


按 月 统计 的 数据 一 EEC 


按 天 统计 的 数据 UT 


减 加 





图 8-7 查询 茶 用 户 在 一 个 时 间 区 段 内 的 贡献 数 
HA H 


遗憾 的 是 ， 我 们 无 法 获得 Wikipedia 贡 献 者 的 feed。 我 们 希望 feed 是 如 下 
格式 的 : 





2012-09-01T14:18:13Z 123456789 1234 Fred Bloggs 
2012-09-01T14:18:15Z 123456798 54321 John Doe 
2012-09-01T14:18:16Z 123456791 6789 Paul Butcher 


第 一 列 是 时 间 戳 ， 第 二 列 是 贡献 记录 的 标识 符 ， 第 三 列 是 贡献 者 的 用 户 
ID， 第 四 列 是 贡献 者 的 用 户 名 。 


Wikipedia 虽 然 没 有 提供 这 样 的 feed， 却 提供 了 包含 全 部 历史 数据 的 周期 
性 的 XML dump! (我 们 需要 其 中 的 enwiki-latest-stub-meta- 
history ) 。 





1 http://dumps.wikimedia.org/enwiki 





本 章 的 配套 代码 中 有 一 个 项 目 ExtractWikiContributors， 其 可 以 将 一 个 
dump 转 化 为 上 述 feed 格 式 的 日 志文 件 。 


下 一 市 我 们 将 创建 一 个 Hadoop 任 务 ， 接 受 这 些 日 志文 件 并 生成 批 处 理 视 
图 需要 的 数据 。 


计算 页 献 数 

这 个 Hadoop 任 务 仍然 包括 一 个 mapper 和 一 个 reducer。mapper 非 常 简单 ， 
只 是 解析 贡献 者 日 志 中 的 一 行 ， 并 产生 一 个 键 值 对 ， 其 键 是 贡献 者 的 用 
户 ID， 其 值 是 贡献 记录 的 时 间 惟 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulk 





public static class 


Map extends 


Mapper<Object 


， Text, IntWritable, LongWritable> { 


public void 


map (Object 


key, Text value, Context 


context) 
throws 


IOException, InterruptedException { 


Contribution contribution = new 


Contribution(value.toString()); 
context.write(new 


IntWritable(contribution.contributorId), 
new 


LongWritable(contribution.timestamp)); 


} 
} 





其 中 大 部 分 工作 都 由 Contribution 类 完成 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulk 





Line 1 class 


Contribution { 


- static final Pattern 
pattern = Pattern 


.compile("*([*\\s]*) (\\d*) (\\d*) (.*)$") 


- static final 


DateTimeFormatter isoFormat = ISODateTimeFormat.dateTimeNoMillis(); 


5 public long 


timestamp; 
- public int 


id; 
- public int 


contributorId; 
- public String 


username; 


10 public 


Contribution(String 


line) { 
- Matcher 


matcher = pattern.matcher(line) ; 
- if 


(matcher.find()) { 
- timestamp = isoFormat.parseDateTime(matcher.group(1)).getMilli 
- id = Integer 


.parseInt(matcher.group(2)); 
15 contributorId = Integer 


.parseInt(matcher.group(3)); 
- username = matcher.group(4); 





有 很 多 种 方法 可 以 解析 日 志文 件 的 一 行 一 一 本 例 使 用 的 是 正则 表达 式 

(第 2 行 )。 如 果 其 匹配 ， 则 使 用 Joda-Time 库 * 的 ISODateTimeFormat 
来 解析 时 间 惟 ， 并 将 时 间 转 换 为 长 整数 〈 第 13 行 ) ， 这 个 长 整数 是 目 
1970 年 1 月 1 日 到 该 时 间 所 经 过 的 量 秒 数 。 页 献 记 录 的 ID 和 贡献 者 的 用 户 
ID 是 整数 ， 这 一 行 剩余 的 部 分 是 贡献 者 的 用 户 名 。 


12 phttp://www.joda.org/joda-time/ 


reducer 则 会 负责 更 多 的 工作 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulk 





Line 1 public static class 


Reduce 
- extends 


Reducer<IntWritable, LongWritable, IntwWritable, Text> { 
- static 


DateTimeFormatter dayFormat = ISODateTimeFormat.yearMonthDay () ; 
- static 


DateTimeFormatter monthFormat = ISODateTimeFormat.yearMonth() ; 
5 
- public void 


reduce(IntWritable key, Iterable 


<LongWritable> values, 
- Context 


context) throws 


IOException, InterruptedException { 
- HashMap 


<DateTime, Integer 


> days = new HashMap 


<DateTime, Integer 


>()3 
- HashMap 


<DateTime, Integer 


> months = new HashMap 


<DateTime, Integer 


>(); 
10 for 


(LongWritable value: values) { 
- DateTime timestamp = new 


DateTime(value.get()); 
- DateTime day = timestamp.withTimeAtStartOfDay () ; 
- DateTime month = day.withDayOfMonth(1) ; 
- incrementCount(days, day); 
15 incrementCount (months, month) ; 
= } 


- for 


(Entry<DateTime, Integer 


> entry: days.entrySet()) 
- context.write(key, formatEntry(entry, dayFormat)); 
- for 


(Entry<DateTime, Integer 


> entry: months.entrySet()) 
20 context.write(key, formatEntry(entry, monthFormat) ) ; 


Seal 
sw) 








这 段 代 码 首 先 为 每 个 贡献 者 建立 两 个 HashMap: days (84r) 和 
months (28947) 。 然 后 壳 历 与 这 个 贡献 者 相关 的 时 间 惟 (values 是 
时 间 戳 列表 ) ， 并 用 Joda-Time 库 的 辅助 方法 
withTimeAtStartOfDay() 和 withDayOfMonth() 将 时 间 惟 转化 为 当 
天 的 午夜 时 间 和 当月 第 一 天 的 午夜 时 间 分别 是 第 12 行 和 第 13 行 ) 。 接 
下 来 可 以 用 一 个 简单 的 辅助 方法 对 days 和 months 的 相关 元 素 进 行 递 


增 : 





LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulk 





private void 


incrementCount (HashMap 


<DateTime, Integer 


> counts, DateTime key) { 
Integer 


currentCount = counts.get(key); 
if 


(currentCount == null) 


counts.put(key, 1); 
else 


counts.put(key, currentCount + 1); 








Ba AN AN HashMap 5, Wa Fk PY map wit ay DAE KC Bb A — 
条 贡献 记录 的 贡献 者 ) 每 天 和 每 月 的 贡献 数 〈 第 17 到 20 行 ) 。 


这 里 有 一 点 需要 说 明 ，Hadoop 任 务 的 输出 是 键 值 对 的 集合 ， 但 本 例 中 需 
要 输出 三 个 值 一 一 贡献 者 的 用 户 ID、 日 期 〈 某 月 或 某 天 ) 和 一 个 统计 
值 。 可 以 通过 定义 一 个 复合 值 来 达到 目的 ， 键 值 对 的 键 是 贡献 者 的 用 户 
ID， 而 值 是 日 期 和 统计 值 构 成 的 复合 值 。 不 过 由 于 本 例 非 党 简单 ， 可 以 
aoe SPATE ATA, SETA ei formatEntry() 定义 

















LambdaArchitecture/WikiContributorsBatch/src/main/java/com/paulk 


Text formatEntry(Entry<DateTime, Integer 


> entry, 


DateTimeFormatter formatter) { 
return new 


Text (formatter.print(entry.getKey()) + "\t 


”+ entry.getValue()) 
} 





下 面 是 这 个 任务 的 一 部 分 输出 : 


463 2001-11-24 1 
463 2002-02-14 1 
463 2001-11-26 6 
463 2001-10-01 1 
463 2002-02 1 
463 2001-10 1 


463 2001-11 7 





这 就 是 我 们 想 要 的 结果 ， 但 输出 是 一 堆 文 本 文件 ， 不 是 很 方便 。 下 一 市 
我 们 将 学 习 服 务 层 ， 其 可 以 对 批 处 理 层 的 输出 进行 索引 和 合并 。 


小 乔 爱 问 : 
是 否 可 以 增 量 地 生成 批 处 理 视图 ? 


到 目前 为 止 我 们 每 次 部 是 重新 生成 整个 批 处 理 视图 。 这 是 可 行 的 ， 
但 也 做 了 一 些 不 必要 的 工作 一 一 为 什么 不 用 上 次 更 新 后 的 新 数据 增 
量 地 更 新 批 处 理 视 图 呢 ? 


没有 什么 能 阻止 我 们 这 么 做 ， 而 且 这 是 一 个 非常 有 效 的 优化 手段 。 
不 过 需要 提醒 的 是 ， 我 们 不 能 严重 依赖 于 增 量 更 新 一 一 Lambda 染 
构 的 威力 大 部 分 来 自 于 我 们 可 以 在 必要 时 进行 重建 。 所 以 只 要 值得 
ge rg tee Atari gee ee gor 
视图 。 








完成 拼图 

批 处 理 层 不 能 单独 构成 端 到 端的 应 用 。 所 以 还 需要 完成 Lambda 框 架 的 
另 一 部 分 一 服务 层 。 

服务 层 





我 们 需要 对 生成 的 批 处 理 视 图 进行 索引 ， 这 样 就 可 以 对 索引 进行 得 询 
了 了。 男 外 ， 还 需要 一 个 地 方 来 存放 程序 逻辑 (说 明 一 个 查询 该 如 何 合 并 
批 处 理 视图 的 逻辑 ) 。 这 就 是 服务 层 的 任务 ， 如 图 8-8 所 示 。 


查询 
Web 服 务 器 
结果 





图 8-8” 批 处 理 视图 和 服务 层 





由 于 服务 层 与 本 书 主题 关联 度 不 大 ， 对 服务 层 的 实现 还 是 留 作 家 性 作 
业 。 在 此 只 介绍 其 中 的 一 部 分 一 一 数据 库 。 


虽然 我 们 可 以 利用 传统 数据 库 来 构建 服务 层 ， 不 过 其 访问 数据 库 的 模式 
与 传统 应 用 不 同 。 服 务 层 不 需要 进行 随机 写 一 一 只 需要 在 更 新 批 处 理 视 
图 时 批量 更 新 数据 库 即 可 。 


有 一 类 数据 库 为 了 这 种 访问 模式 而 进行 了 优化 ， 其 中 最 有 名 的 是 
ElephantDB!? 和 Voldemort!4 。 











13 phttps://github.com/nathanmarz/elephantdb 
| 14 http://www. project-voldemort.com/voldemort/ 
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至 此 ， 利 用 批 处 理 层 和 服务 层 ， 我 们 得 到 了 一 个 数据 系统 ， 可 以 用 于 解 
决 今天 一 开始 提出 的 问题 ， 如 图 8-9 所 示 。 


批 处 理 层 会 不 断 循环 运行 ， 从 原始 数据 重新 生成 批 处 理 视图 。 每 一 个 批 
处 理 完成 时 ， 服 务 层 都 会 更 新 数据 库 。 


由 于 只 处 理 不 可 变 的 原始 数据 ， 批 处 理 层 可 以 轻松 地 被 并 行 化 。 原 始 数 
人 Mia re Erg pen gg ere 
Hae 


原始 数据 的 不 变性 也 使 得 系统 可 以 承受 住 技术 性 故障 和 人 为 故障 。 一 方 
面 ， 原 始 数据 更 容易 进行 备份 ， 另 一 方面 ， 如 果 存 在 pug， 节 坏 的 情况 
就 是 批 处 理 视图 是 暂时 错误 的 一 一 只 需要 修复 该 bug 并 重新 计算 批 处 理 
视图 即 可 。 














KR 批 处 理 视图 
ae 
e 
> 
@ 
pa 
图 8-9 数据 系统 


而 且 ， 由 于 保存 了 所 有 原始 数据 ， 束 可 以 在 将 来 生成 任何 想 要 的 报表 或 
进行 任何 分 析 。 

不 过 存在 着 一 个 严重 的 问题 一 一 延 运 。 如 果 批 处 理 层 需 要 一 个 小 时 的 运 
行 时 间 ， 那 批 处 理 视图 束 比 最 新 的 数据 至 少 延 人 运 1 小 时 。 明 天 我 们 会 学 
习 加 速 层 ， 来 解决 这 个 问题 。 


第 二 天 总 结 





第 二 天 的 学 习 结束 了 。 第 三 天 我 们 将 学 习 加 速 层 ， 并 完成 整个 Lambda 
架构 。 


第 二 天 我 们 学 到 了 什么 

信息 可 以 分 为 原始 数据 和 衍生 信息 。 原 始 数据 是 永恒 的 真相 ， 而 且 是 不 
变 的 。 基 于 这 个 特性 ， 利 用 Lambda 架 构 的 批 处 理 层 ， 可 以 创建 具有 以 
下 特性 的 系统 : 

高 度 并 行 化 ， 可 以 处 理 TB 级 别 的 数据 ; 

简单 ， 容 易 创 建 且 不 易 出 错 ; 

对 技术 性 故障 和 人 为 故障 进行 容错 ; 

o 文 持 对 日 常数 据 的 操作 ， 也 支持 对 历史 数据 生成 报表 和 进行 分 析 。 
批 处 理 层 最 大 的 缺点 在 于 其 有 延迟 ，Lambda 架 构 利 用 加 速 层 来 解决 这 


一 问题 。 
BRAJ 
ARR 


。 本 章 中 介绍 的 方法 并 不 是 利用 Hadoop 建 立 数据 系统 的 唯一 方法 一 一 
其 他 的 方法 有 HBase、Pig 和 Hive。 这 三 种 方法 更 类 似 于 传统 数据 系 
统 。 选 择 其 中 一 种 ， 与 Lambda 架 构 的 批 处 理 层 进行 比较 。 每 种 方 
法 分 别 适合 什么 场景 ? 


实践 


。 创建 一 个 服务 层 ， 来 完善 今天 所 学 习 的 系统 。 这 个 服务 层 能 够 接受 
批 处 理 层 的 输出 ， 保 存 到 数据 库 中 ， 并 可 以 查询 一 段 时 间 内 某 用 户 
的 贡献 数 。 可 以 使 用 传统 数据 库 或 ElephantDB 来 建立 服务 层 。 


。 扩展 上 面 的 例子 ， 增 量 生成 批 处 理 视图 一 一 为 了 达到 目的 ，Hadoop 
集群 需要 访问 服务 层 的 数据 库 。 这 个 方案 效率 如 何 ? 花费 的 代价 是 
个 值得 ? 增 量 生成 批 处 理 视图 适用 于 何 种 应 用 ? 不 适用 于 何 种 应 
用 ? 




















8.4 第 三 天 : 加 速 层 
在 昨天 的 学 习 中 ， 我 们 了 解 到 Lambda 架 构 的 批 处 理 层 能 解决 传统 数据 


系统 碰 到 的 在 干 问题 ， 但 代价 是 较 遍 的 延迟 。 加 速 层 束 是 用 来 解决 这 个 
问题 的 。 图 8-10 展 示 了 加 速 层 与 批 处 理 层 如 何 协同 工作 。 


批 处 理 视图 
合并 









图 8-10 Lambda 架构 


有 新 数据 产生 时 ， 一 方面 将 其 添加 到 原始 数据 中 ， 这 样 批 处 理 层 就 可 以 
进行 处 理 ， 男 一 方面 将 其 传 给 加 速 层 。 加 速 层 会 生成 实时 视图 ， 实 时 视 
图 会 和 批 处 理 视图 合并 来 满足 对 最 新 数据 的 查询 。 

实时 视图 仅 包 含 最 后 一 次 生成 批 处 理 视图 后 产生 的 原始 数据 所 对 应 的 衍 
生 信息 ， 当 这 部 分 数据 被 批 处 理 层 处 理 后 ， 该 实时 视图 将 被 莽 用 。 


现在 我 们 用 Storm” 来 生成 加 速 层 。 














15 http://storm.incubator.apache.org 
yu N y = 
设计 加 速 层 


不 同 的 应 用 对 实时 性 的 要 求 不 同一 一 有 一 些 要 求 新 数据 在 秒 级 别 可 用 ， 
有 一 些 要 求 新 数据 在 毫秒 级 别 可 用 。 无 论 你 的 应 用 有 什么 性 能 要 求 ， 只 
使 用 批 处 理 层 很 可 能 无 法 满足 。 


由 于 加 速 层 要 求 使 用 增 量 算法 ， 因 此 比 起 构建 批 处 理 层 ， 构 建 加速 层 本 
质 上 要 更 困难 。 这 意味 着 加 速 层 不 能 只 处 理 原始 数据 ， 也 就 至 受 不 到 原 
始 数 据 的 完美 特性 了 。 我 们 必须 重新 面 对 传 统 数据 库 的 特性 ， 随机 写 、 
复杂 的 锁 机 制 和 事务 机 制 等 。 


从 好 的 方面 来 看 ， 加 速 层 只 需要 处 理 一 部 分 数据 ， 就 是 那 部 分 还 未 被 批 
处 理 层 处 理 的 数据 《通常 是 几 个 小 时 的 数据 ) 。 一 旦 批 处 理 层 赶 上 进 
度 ， 旧 的 数据 束 会 从 加 速 层 移 除 。 














同步 还 是 异步 ? 


最 容易 想到 的 构建 加 速 层 的 方法 就 是 模仿 传统 的 同步 数据 库 。 其 实 可 以 
将 传统 数据 库 看 作 是 Lambda 染 构 的 一 种 退化 特例 (不 使 用 批 处 理 
层 ) ， 如 图 8-11 所 示 。 





数据 库 








图 8-11 传统 数据 库 

在 这 种 模型 中 ， 客 户 端 下 接 和 数据 库 通 信 ， 并 在 数据 库 进行 更 新 操作 时 
进行 阻 窒 。 这 种 模型 非常 合理 ， 在 傈 些 场景 下 这 是 唯一 能 满足 特定 需求 
的 方法 。 不 过 在 为 一 些 场景 中 ， 寞 步 染 构 更 合适 一 些 ， 如 图 8-12 所 示 。 


> 
队列 流 处 理 器 


图 8-12 ”传统 数据 库 的 异步 以 构 





在 这 种 模型 中 ， 客 户 端 将 更 新 操作 添加 到 队列 中 〈 可 以 用 Kafkal6 或 
Kestrel!” 等 实现 队列 ) ， 这 一 步骤 是 无 阻塞 的 。 流 处 理 器 将 串 行 地 处 理 
这 些 更 新 操作 并 对 数据 库 进 行 更 新 。 


16 http://kafka.apache.org 


17 http://robey.github.io/kestrel/ 


HAZIRA mA SEET E BE E REZ AEAEE 
e es a ee De 
CEEA k FAR: 





。 Fig NRA SE, MUDE AP m AERE MAT 
提高 了 吞吐 量 ; 


。 业务 压力 激增 会 导致 客户 端 或 数据 库 超载 ， 也 会 导致 同步 系统 超时 
或 丢失 一 些 更 新 。 而 异步 系 统 则 不 同 ， 只 需要 将 未 处 理 的 更 新 操作 
保持 在 队列 中 ， 在 业务 压力 恢复 稳定 后 可 逐渐 赶 上 进度 ; 





。 稍 后 我 们 将 了 解 到 : 流 处 理 需 可 以 被 并 行 化 ， 也 可 以 在 多 人 台 计 算 机 
上 进行 分 布 式 计 算 ， 既 改善 了 性 能 又 可 以 容错 。 








出 于 上 述 原 因 ， 再 加 上 同步 的 加 速 层 实现 起 来 很 是 无 趣 ， 并 且 本 书 应 关 
注 于 并 行 和 并 用， 因此 本 书 将 不 会 深入 讨论 同步 方案 。 在 实现 异步 方案 
之 前 ， 需 要 先 来 学 习 如 何 让 数据 过 期 。 


如 何 让 数据 过 期 


假设 批 处 理 层 需要 两 个 小 时 处 理 数据 ， 那 很 容易 就 会 认为 加 速 层 需要 保 
人 
13 所 不 。 


假设 第 N 一 1 次 批 处 理 刚 刚 结束 ， 第 N 次 批 处 理 正 要 开始 。 如 果 每 次 批 
处 理 需 要 运行 两 个 小 时 ， 这 意味 着 批 处 理 视图 会 落后 两 个 小 时 。 因 此 加 
速 层 需要 保持 这 落后 的 两 个 小 时 的 数据 ， 还 要 保持 批 处 理 层 运行 的 这 两 
个 小 时 中 所 有 的 新 数据 ， 总 共 需 要 保持 四 个 小 时 的 数据 。 

















时 间 第 NN 次 
第 N 一 1 次 批 处 理 批 处 理 当前 数据 
加 速 层 
es 第 N+1 次 
第 N 次 批 处 理 批 处 理 ”当前 数据 





过 期 数据 加 速 层 


图 8-13 ”在 加 速 层 中 让 数据 过 期 


LEN 次 批 处 理 结束 时 ， 需 要 让 最 早 两 个 小 时 的 数据 过 期 ， 但 仍 保存 其 
后 两 个 小 时 的 数据 。 有 多 种 方法 可 以 达到 目的 ， 不 过 最 容易 的 就 是 同时 
维护 两 个 加 速 层 ， 并 交 蔡 使 用 它们 ， 如 图 8-14 所 示 。 








时 间 当前 数据 


BEBE 1 
加 速 层 A (正在 使 用 ) | 
加 速 层 B | 


maea [ 
加 速 层 B (正在 使 用 ) | 


图 8-14 交 蔡 使 用 加 速 层 


当 一 次 批 处 理 完 成 时 ， 批 处 理 视 图 中 的 新 数据 就 变 得 可 用 ， 就 可 以 将 当 
前 用 于 处 理 请 求 的 加 速 层 切 换 到 另 一 个 加 速 层 上 。 切 换 后 闲置 的 加 速 层 
会 清理 其 数据 库 ， 并 在 新 的 批 处 理 开始 时 重新 建立 新 的 视图 。 


这 种 做 法 的 好 处 是 ， 一 方面 不 需要 费心 识别 加 速 层 的 数据 库 中 哪些 数据 
需要 被 过 期 清理 ， 男 一 方面 由 于 每 次 切换 后 加 速 层 都 是 从 一 个 空 数据 库 
开始 运行 ， 因 此 达到 了 更 好 的 性 能 和 可 靠 性 。 当 然 为 此 付出 的 代价 是 必 
须要 维护 两 份 加 速 层 的 数据 并 且 消 耗 两 份 计算 资源 ， 不 过 考虑 到 加 速 层 
仅仅 处 理 总 数据 量 中 很 小 的 一 部 分 ， 因 此 付出 的 代价 相对 不 那么 大 。 








Storm % i 


剩 下 的 时 间 我 们 来 学 习 用 Storm 系 统 实现 异步 的 加 速 层 。Storm 是 个 很 大 
的 话题 ， 本 书 只 能 浅 演 轻 目 如 需 深 入 了 解 请 参见 Storm 文 档 巧 。 





http://storm.incubator.apache.org/documentation/Home.html 


Hadoop 主 要 负责 批 处 理 ，Storm 主 要 负责 实时 处 理 一 一 其 能 方便 地 使 用 
台 计 算 机 进行 分 布 式 计算 ， 以 改善 性 能 和 容错 性 。 


Spout、Bolt 和 Topology 


Storm 系 统 处 理 的 是 元 组 〈tuple) 的 流 。Storm 的 元 组 类 似 于 之 前 我 们 在 
第 5 章 看 到 的 actor 模 型 的 元 组 ， 但 不 同 于 Elixir 的 元 组 ，Storm 元 组 的 元 
素 是 有 名 字 的 。 

元 组 由 spout( 出 水 管 ) 组 件 创 建 ， 并 由 bolt《〈 螺 栓 ) 组 件 进行 处 理 ， 
bolt 也 会 输出 元 组 。 用 流 将 spout 和 bolt 连 接 在 一 起 ， 就 形成 了 

topology (łk) 。 图 8-15 所 示 的 是 一 个 简单 的 tobpology， 由 一 个 
spout 生 成 元 组 并 由 一 系列 bolt 构 成 的 流水 线 进 行 处 理 。 


过 | 六 


图 8-15 一 个 简单 的 topology 


topology 也 可 以 很 复杂 一 一 bolt 可 以 消费 多 个 流 ， 而 一 个 流 也 可 以 被 多 个 
bolt 消 费 ， 构 成 一 个 有 辐 无 环 图 《或 称 DAG) ， 如 图 8-16 所 示 。 


DC 


图 8-16 一 个 复杂 的 topology 


不 过 束 算 是 最 简单 的 那 种 流水 线 式 的 topology， 也 要 比 看 上 去 的 复杂 很 
多 ， 因 为 spout 和 bolt 都 是 并 行 化 和 分 布 式 的 。 











worker 


spout 和 bolt 不 仪 相 互 之 间 是 并 行 的 ， 而 且 其 内 音 





Yr. /一 














个 个 体内 部 都 是 由 很 多 worker 实 现 的 。 如 网 8-17 所 示 ， 这 个 简单 的 流水 
线 式 topology 中 ， 每 个 spout 和 bolt 内 部 都 有 3 个 worker。 





图 8-17 spout 和 bolt 的 worker 


如 图 8-17 所 示 ， 流 水 线 上 每 个 节点 的 worker 都 可 以 向 下 游 节 点 中 任意 一 
个 worker 发 送 元 组 。 在 稍 后 讨论 到 数据 流 分 发 (Stream Grouping) 时 我 
们 会 学 习 如 何 控制 使 用 哪 一 个 worker 来 接收 元 组 。 


worker 还 是 分 布 式 的 一 一 如 果 使 用 有 4 个 节点 的 集群 ， 那 spout 的 worker 
可 能 运行 在 节点 1、 节 点 2 和 节点 3 上 ， 第 一 个 bolt 的 worker 可 能 运行 在 节 
点 2 和 节点 4 上 “其 中 两 个 在 节点 2， 一 个 在 节点 4 上 ) 。 


Storm 的 优美 之 处 在 于 我 们 不 需要 特别 关注 于 分 布 式 一 一 只 需要 定义 好 
topology，Storm 就 会 向 节点 分 配 好 worker， 并 确保 发 送 的 元 组 可 以 送 
达 。 

















容错 性 


将 一 个 spout 或 bolt 的 多 个 worker 分 布 在 多 台 计 算 机 上 的 主要 原因 是 容错 
性 。 如 果 集 群 中 的 某 一 台 计 算 机 发 生 故 障 ，topology 可 以 将 元 组 分 发 给 
仍 存活 的 计算 机 ， 这 样 topology 就 可 以 继续 运行 。 


Storm 会 监视 元 组 之 间 的 依赖 一 一 如 果 某 一 个 元 组 没 能 完成 ，Storm 会 将 
其 依赖 的 spout 元 组 置 为 失败 并 进行 重 试 。 这 也 束 是 说 Storm 默 认 使 用 的 


是 “至 少 会 执行 一 次 ”的 处 理 策略 。 应 用 必须 知道 这 个 事实 : 元 组 可 能 会 
MHD, BBA RIE. 


听 够 了 理论 ， 我 们 来 实践 一 下 ， 为 之 前 的 Wikipedia 贡 献 统 计 程 序 用 
Storm 实 现 一 个 简单 的 加 速 层 。 


小 乔 爱 问 : 
如 果 我 的 应 用 不 能 进行 重 试 呢 ? 


Storm 默 认 的 策略 是 “至 少 会 执行 一 次 ”， 这 一 策略 适用 于 大 部 分 应 
用 ， 但 有 一 些 应 用 需要 更 强 的 约束 ， 即 “只 会 执行 一 次 ”。 


Storm 通 过 Trident API? 可 以 支持 “只 会 执行 一 次 "的 策略 ， 本 书 将 不 
会 介绍 相关 内 容 。 


a. http://storm.incubator.apache.org/documentation/Trident-tutorial.html 


FAA Storm2% tt or iit 
图 8-18 所 示 的 是 一 种 加 速 层 的 topology。 


读 取 日 志 更 新 数据 库 





图 8-18 ”加 速 层 的 topology 


首先 使 用 一 个 spout 来 读 取 页 献 者 的 日 志 ， 并 将 其 转换 成 一 个 元 组 流 。 然 
后 由 一 个 bolt 来 处 理 元 组 流 ， 对 日 志 条 目 进 行 解析 ， 并 输出 一 个 解析 后 
的 ae 由 男 一 个 bolt 处 理 这 个 流 ， 并 对 保存 实时 视图 的 数据 库 进 
行 更 新 。 


不 过 出 于 以 下 原因 ， 我 们 会 构建 一 个 不 太一 样 的 topology: 首先 ， 我 们 
并 不 直接 访问 Wikipedia 页 献 者 的 日 志 ; 其 次 ， 我 们 并 不 想 关 心 更 新 数据 
库 的 细 市 (我 们 关心 的 是 并 行 和 并 发 ) 。 图 8-19 是 我 们 设计 的 
topology。 





模拟 日 志 解析 日 志 


图 8-19 ”改进 后 的 加 速 层 的 topology 

这 个 topology 首 先 使 用 一 个 spout 来 模拟 Wikipedia 的 贡献 者 feed， 人 然后 串 
联 一 个 解析 器 ， 最 后 记录 内 存 中 的 实时 视图 。 这 个 方案 不 适用 于 产品 环 
境 ， 但 非常 适用 于 学 习 Storm。 

模拟 贡献 日 志 

下 面 的 代码 实现 了 一 个 spout， 它 会 随机 产生 日 志 来 模拟 feed: 
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Line 1 public class 


RandomContributorSpout extends 


BaseRichSpout { 


- private static final Random 


rand = new Random(); 


- private static final 


DateTimeFormatter isoFormat = 
5 ISODateTimeFormat.dateTimeNoMillis(); 


- private 


SpoutOutputCollector collector; 
- private int 


contributionId = 10000; 


16 public void 


open(Map 


conf, TopologyContext context, 
- SpoutOutputCollector collector) { 


- this.collector = collector; 


NER- 


- public void 


declareOutputFields(OutputFieldsDeclarer declarer) { 
- declarer.declare(new 


Fields("Line 


20 public void 


nextTuple() { 
- Utils.sleep(rand.nextInt(100)); 


- ++contributionId; 
a String 
line = isoFormat.print(DateTime.now()) + " " + contributionId + " " + 
- rand.nextInt(10000) + " " + "dummyusername 
5 
25 collector. emit (new 
Values(line)); 


- } 





这 段 代 码 创 建 了 一 个 spout， 其 继承 了 BaseRichspout (第 1 行 ) 。 
Storm 会 在 初始 化 时 调用 open() 方法 (第 10 行 ) 一 一 在 open 方法 中 只 
是 保存 了 SpoutOutputCollector 的 引用 ， 以 便 之 后 将 输出 发 给 
SpoutOutputCollector 。Storm 在 初始 化 时 还 会 调 

用 declareOutputFields() 方法 (第 16 行 )， 以 便 了 解 spout 会 产生 的 
元 组 的 结构 一 一 本 例 中 ， 元 组 只 有 一 个 名 为 line 的 字段 。 


nextTuple() 《第 20 行 ) 承担 了 大 部 分 工作 。 这 个 函数 首先 会 随机 睡 
眠 100 多 有 坚 秒 ， 然 后 创建 一 个 字符 串 ， 它 的 格式 如 8.3 节 的 “贡献 者 日 
志 ” 部 分 所 述 ， 最 后 调用 collector.emit() 来 输出 字符 串 。 

产生 的 日 志 会 被 传 给 解析 器 bolt 〈 将 在 下 一 节 中 介绍 ) 。 

解析 日 志 


解析 占 bolt 接 受 代表 日 志 行 的 元 组 ， 并 进行 解析 ， 再 输出 含有 四 个 字段 
的 元 组 ， 每 个 字段 代表 了 日 志 行 的 一 部 分 : 
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Line 1 class 


ContributionParser extends 


BaseBasicBolt { 
2 public void 


declareOutputFields(OutputFieldsDeclarer declarer) { 
3 declarer.declare(new 


Fields( "timestamp 


， “username 


5 public void 


execute(Tuple tuple, BasicOutputCollector collector) { 
6 Contribution contribution = new 


Contribution(tuple.getString(@) ); 
7 collector.emit (new 


Values(contribution.timestamp, contribution.id, 
8 contribution.contributorId, contribution.username) ) ; 


10 } 





这 段 代 码 创 建 一 个 了 bolt， 其 继承 了 BaseBasicBolt (#8177) 。 与 创 
建 spout 时 一 样 ， 还 需要 实现 declareOutputFields() 方法 (第 2 
ÍT) ， 以 便 让 Storm 了解 到 bolt 输 出 元 组 的 结构 一 本 例 中 ， 输 出 元 组 包 


含 4 个 字段 ， 分 别 是 timestamp 、id 、contributorId 和 username 。 





这 次 承担 了 大 部 分 工作 的 是 execute() (第 5 行 )。 本 例 与 批 处 理 层 一 
样 ， 使 用 了 Contribution 类 来 解析 日 志 行 ， 再 调 
用 contributor.emit() 来 输出 元 组 。 


解析 得 到 的 元 组 会 被 传 给 另 一 个 bolt， 以 记录 每 个 贡献 者 的 贡献 数 ， 下 
— 5 2% SIX bolt. 


记录 页 献 数 


最 后 一 个 bolt 维 护 了 一 个 记录 着 每 个 贡献 者 的 贡献 记录 的 简单 内 存 数据 
库 〈 其 实 是 一 个 nap， 其 键 是 贡献 者 ID， 其 值 是 贡献 时 间 惟 的 集合 ) : 
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Line 1 class 


ContributionRecord extends 


BaseBasicBolt { 
- private static final HashMap 


<Integer, HashSet 


<Long 


>> timestamps = 
- new HashMap 


<Integer, HashSet 
<Long 


>>(); 


5 public void 


declareOutputFields(OutputFieldsDeclarer declarer) { 
- } 


- public void 


execute(Tuple tuple, BasicOutputCollector collector) { 
- addTimestamp(tuple.getInteger(2), tuple.getLong(@)); 


- } 
10 
- private void 
addTimestamp(int 


contributorId, long 


timestamp) { 
- HashSet 


<Long 


> contributorTimestamps = timestamps.get(contributorId) ; 
- if 


(contributorTimestamps == null) { 
- contributorTimestamps = new HashSet 


<Long 


15 timestamps.put(contributorId, contributorTimestamps) ; 


contributorTimestamps.add(timestamp) ; 





本 例 中 并 不 产生 任何 输出 ， 所 以 declareOutputFields() 函数 是 空 的 
(第 5 行 ) 。 eo (第 7 行 ) 方法 只 是 从 输入 中 提取 相关 信息 ， 并 
传 给 addTimestamp() 函数 ， addTimestamp() 负责 向 贡献 者 相应 的 集 
A FFAS TIME TED ER 
现在 来 创建 一 个 topology， 将 已 有 的 spout 和 bolt 集 成 起 来 。 
小 乔 爱 问 : 
为 什么 要 记录 时 间 惟 的 集合 ? 


在 8.3 节 中 我 们 看 到 批 处 理 视 图 仅 记 录 了 每 天 和 每 月 的 贡献 记录 
数 。 那 么 在 实时 视图 中 为 什么 要 记录 完整 的 时 间 戳 呢 ? 


如 之 前 讨论 过 的 ， 实 时 视图 只 需要 记录 几 个 小 时 的 数据 ， 所 以 记录 




















和 查询 完整 的 时 间 惟 的 代价 相对 较 低 。 但 更 重要 的 原因 是 : TRS 
中 增加 记录 的 操作 是 天 等 的 。 


之 前 学 习 过 ，Storm 默 认 的 蛇 略 是 “至 少 会 执行 一 次 ”， 那 么 元 组 可 
能 会 被 重 试 。 所 谓 肾 等 操作 ， 就 是 无 论 操作 执行 多 少 次 结果 都 是 一 
样 的， 这 正 可 以 用 于 处 理 元 组 被 重 试 的 情况 。 


构建 topology 
我 们 对 ContributionRecord 可 能 会 有 些 担 心 己 经 知道 bolt 会 包括 


多 个 worker， 那 么 如 何 来 保证 一 个 贡献 者 只 会 对 应 一 个 时 间 惟 集合 呢 ? 
要 解决 这 个 问题 就 需要 先 了 解 如 何 构建 topology。 
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Line 1 public class 


WikiContributorsTopology { 


- public static void 


main(String[ ] 


args) throws 


Exception { 


5 TopologyBuilder builder = new 


TopologyBuilder(); 


- builder.setSpout("contribution_spout 


, new 


RandomContributorSpout(), 4); 


- builder.setBolt("contributtion_parser 


ContributionParser(), 4). 
10 shuffleGrouping("contributton_spout 


"); 


- builder.setBolt("contribution recorder 


ContributionRecord(), 4). 
- fieldsGrouping("contribution parser 


Fields("contributorId 


")); 


15 LocalCluster cluster = new 


LocalCluster(); 
- Config conf = new 


Config(); 
- cluster.submitTopology("wiki-contributors 


", conf, builder.createTopology()); 


- Thread 


.Sleep(10000); 
20 
= cluster.shutdown(); 





首先 ， 这 段 代 码 创 建 一 个 TopologyBuilder (454r) ， 并 调 

用 setSpout() (28747) 来 添加 一 个 spout 实 例 。 其 第 二 个 参数 是 一 个 
并 行 度 的 参考 hint) ， 这 只 是 个 参考 而 不 是 强制 命令 ， 但 为 了 理解 简 
单 ， 可 以 认为 这 个 参数 是 一 个 强制 命令 ，Storm 会 根据 这 个 参数 为 spout 
创建 4 个 worker。 如 果 要 详细 了 解 如 何 控制 Storm 的 并 行 ， 推 荐 阅 

读 “What Makes a Running Topology: Worker Processes, Executors and 
Tasks??? 


D http://storm.incubator.apache.org/documentation/Understanding-the-parallelism-of-a-Storm- 
topology.html 


接 下 来 ， 这 段 代码 调用 setBolt() (第 9 行 ) 来 添 

加 ContributionParser 的 实例 。 最 后 ， 这 段 代 码 调 

用 shuffleGrouping() ， 其 参数 与 设置 Spout 时 的 字符 串 一 样 ， 这 样 
Sala a A 这 里 我 们 还 需要 学 习 数 据 
流 分 发 。 


数据 流 分 发 





Storm 的 数据 流 分 发 策略 主要 解决 了 哪 一 个 worker 接 受 哪 一 个 元 组 的 问 
题 。 解 析 器 bolt 所 使 用 的 随机 分 发 (shuffle grouping) 策略 是 最 简单 的 
只 是 简单 地 将 元 组 随机 分 发 给 某 一 个 worker。 


记录 页 献 数 的 bolt 使 用 的 是 按 字 上 段 分 发 (fields grouping) 策略 (第 12 
ÍT) ， 这 个 策略 保证 某 些 字段 〈 本 例 中 是 contributorId 字段 ) 的 值 
相同 的 元 组 会 被 分 发 给 同一 个 worker。 回 到 上 一 节 开 始 的 问题 ， 我 们 也 
是 通过 这 个 策略 来 确保 一 个 贡献 者 只 对 应 一 个 时 间 惟 集合 的 。 


本 地 集群 
设置 Storm 集 群 并 不 复杂 ， 但 这 超出 了 本 书 的 范围 。 更 走 剧 的 是 ， 由 于 
这 是 一 门 新 技术 ， 还 没有 可 以 直接 利用 的 现成 的 Storm 集 群 服务 。 所 以 


需要 创建 了 一 个 LocalCluster (31747) 在 本 地 运行 我 们 的 
topology. 











本 例 中 我 们 让 topology 运 行 了 10 秒 后 调用 cluster.shutdown() 来 关闭 
它 。 然 而 在 产品 环境 中 ， 当 批 处 理 层 赶 上 了 进度 ， 已 经 不 再 需要 当前 的 
实时 视图 时 ， 就 需要 用 其 他 方法 来 关闭 topology。 

第 三 天 总 结 

我 们 完成 了 第 三 天 的 学 习 ， 也 完成 了 对 Lambda 架 构 的 加 速 层 的 讨论 。 
第 三 天 我 们 学 到 了 什么 

加 速 层 创 建 的 实时 视图 包含 了 最 后 一 次 生成 批 处 理 视图 后 产生 的 数据 ， 
这 样 就 完善 了 Lambda 架 构 。 加 速 层 可 以 是 同步 的 或 异步 的 一 一 Storm 是 
一 种 构建 异步 加 速 层 的 方法 。 


e Storm 实 时 地 处 理 元 组 流 。 元 组 由 spout 创 建 、 由 bolt 处 理 、 由 
topology iil FE 。 


e spout 和 bolt 都 包含 多 个 worker， 这 些 worker 并 行 执行 ， 且 分 布 在 集 
群 的 多 个 节点 上 。 


。 Storm 上 默认 使 用 “至 少 会 执行 一 次 ”的 条 上 略 
试 的 情况 。 




















bolt 需 要 处 理 元 组 被 重 


> | 
查找 
e Trident 是 建立 在 Storm 基 础 上 的 高 级 API。 类 似 于 Storm 的 “至 少 会 执 
行 一 次 ”的 默认 策略 ，Trident 提 供 了 “只 会 执行 一 次 ”的 策略 。 
Trident 适 用 于 什么 场景 ? Storm 的 低级 API 适 用 于 什么 场景 ? 


。 s 随机 分 发 和 按 字段 分 发 ，Storm 还 提供 了 哪些 数据 流 分 发 策 
? 


实践 

e 创建 一 个 真正 的 Storm 集 群 ， 并 将 今天 本 地 运行 的 例子 部 区 在 上 
面 。 

。 创建 一 个 bolt 和 一 个 topology，bolt 负 责 维护 每 分 钟 的 贡献 总 数 ， 
topology 负 责 将 ContributionParser 的 输出 分 发 给 
ContributionRecord 和 我 们 创建 的 bolt。 

。 今天 的 例子 使 用 了 BaseBasicBolt ， 它 会 自动 地 对 元 组 进行 确 


认 。 请 改 用 BaseRichBolt 你 需要 显 式 对 元 组 进行 确认 。 创 建 
一 个 bolt， 如 何在 确认 之 前 处 理 多 个 元 组 ? 








85 复习 
Lambda 架 构 将 我 们 已 经 学 过 的 一 些 内 容 融 合 在 了 一 起 ; 


。 和 这 让 我 们 想到 Clojure 分 离 标识 与 状态 的 做 
法 ; 





Hadoop 并 行 化 解决 问题 的 方法 是 先 将 问题 切 分 并 映射 到 一 个 数据 结 
构 上 ， 再 进行 化 简 操 作 。 这 非常 类 似 于 并 行 函 数 编程 的 做 法 ; 


类 似 于 actor 模 型 ，Lambda 架 构 将 处 理 过 程 分 布 到 集群 上 ， 这 样 既 
改进 了 性 能 ， 又 可 以 对 硬件 故障 进行 容错 ; 

Storm 的 元 组 流 类 似 于 actor 模 型 和 CSP 模 型 的 消息 机 制 。 

优点 


Lambda 染 构 主要 用 于 解决 大 规模 数据 的 问题 一 一 这 些 问 题 是 传统 数据 
处 理 架 构 难 以 应 对 的 。Lambda 架 构 非常 适合 于 报表 和 分 析 一 一 以 前 我 
们 会 使 用 数据 仓库 来 进行 这 类 工作 。 


缺点 


Lambda 架 构 最 大 的 优点 一 一 擅长 处 理 大 规模 数据 一 一 这 也 正 是 它 的 缺 
点 。 除 非 你 的 数据 达到 数 太 字 节 甚至 更 多 ， 人 否则 其 成 本 《计算 成 本 和 智 
力 成 本 ) 将 蜗 于 收益 。 


蔡 代 方案 
Lambda 架 构 并 没有 与 MapReduce 绑 定 一 一 批 处 理 层 可 以 用 其 他 的 分 布 式 
批 处 理 系统 来 实现 。 


基于 这 一 点 ，Apache Spark”? 就 是 一 个 很 有 意思 的 方案 。Spark 是 一 个 集 
群 计算 框架 ， 它 实现 了 DAG 执 行 引 苟 ， 可 以 使 用 很 多 比 MapReduce 用 起 
来 更 自然 的 算法 (尤其 是 图 算法 ) 。 它 也 提供 了 与 流 相 关 的 API21 ix 
意味 着 批 处 理 层 和 加 速 层 都 可 以 用 Spark 实 现 。 














20 http://spark.apache.org 
21 http://spark.apache.org/streaming/ 


结语 
由 于 包含 前 几 章 介绍 过 的 很 多 技术 ，Lambda 架 构 很 适合 用 来 作为 本 书 
压轴 的 主题 。 用 Lambda 架 构 演示 “如 何 利用 并 行 和 并 发 技术 解决 一 些 束 
手 问题 "是 非常 合适 的 。 


最 后 一 革 ， 我 们 将 重新 审视 过 去 7 周 的 内 容 ， 以 及 本 书 已 经 涉及 的 几 大 


主题 。 


AAA wr. mr] dE /十 
Bom BA 
恭喜 你 完成 了 七 周 的 学 习 ! 


从 由 数据 并 行 GPU 提供 的 细 粒 上 度 并 行 ， 到 大 规模 的 MapReduce 集 群 ， 我 
们 讨论 的 主题 涉及 方方面面 。 一 路 走 来 ， 我 们 不 仅 学 习 了 如 何 用 并 行 和 
并 发 来 挖掘 现代 多 核 CPU 的 潜力 ， 而 且 学 到 了 许多 比 传统 串 行 代码 更 优 
秀 的 特性 。 
e 我 们 学 习 了 Elixir、Hadoop 和 Storm， 这 几 种 系统 都 可 以 部 署 在 多 机 
ee 从 而 创建 出 可 以 对 硬件 故障 进行 容错 的 解 
决 方案 。 


e 通过 core.async ， 学 习 了 如 何 利用 并 发 来 解决 事件 处 理 时 会 碰 到 
的 “回调 困境 ”。 


。 在 函数 式 编程 的 章节 中 ， 学 习 了 如 何 让 并 发 方案 比 等 价 的 品行 方案 
更 简洁 易 读 。 


现在 来 看 看 这 预示 看 怎样 的 未 来 。 





9.1 君 售 何 往 


二 十 几 年 前 ， 我 曾 预 言 并 行 技术 和 分 布 式 编程 将 成 为 主流 ， 如 今 的 现实 
表明 我 不 是 个 成 功 的 预言 家 。 尽 管 如 此 ， 现 在 我 仍然 相信 并 行 和 并 发 预 
示 独 编程 的 未 来 。 


未 来 是 < 不 变 ”的 


在 我 看 来 ， 有 一 个 话题 散发 着 次 眼 的 光 企 一 一 和 过 去 相 比 ， 不 变性 在 代 
码 中 的 应 用 会 越 来 越 广泛 。 与 不 变性 关系 最 大 的 是 函数 式 编程 一 一 在 函 
数 式 编程 中 ， 避 人 免 使 用 可 变 状态 会 使 得 并 行 和 并 发 更 为 简单 。 不 过 为 了 
获得 不 变性 ， 不 一 定 非 要 使 用 函数 式 纺 程 。 在 过 去 的 几 周 中 我 们 已 经 学 


sue 


。 里 然 Clojure 不 是 一 门 纯粹 的 函数 式 语言 ， 但 其 核心 数据 结构 是 持久 
且 不 变 的 (参见 4.2 市 的 “持久 数据 结构 ”部 分 ) 。 持 久 数 据 结构 可 以 
将 标识 与 状态 分 离 ， 这 样 Clojure 就 可 以 支持 可 变 引 用 ， 并且 避免 使 
用 可 变 状态 和 带 来 的 问题 ; 


里 然 Lambda 淋 构 的 底层 代码 通常 不 是 函数 式 代 码 ， 不 过 其 核心 思 
想 的 确 是 不 变性 一 一 批 处 理 层 规定 其 原始 数据 古永 恒 真实 的 (不 可 
变 的 ) ， 所 以 我 们 可 以 将 数据 安全 地 分 布 到 集群 中 ， 对 数据 进行 并 
行 处 理 ， 且 能 对 技术 故障 和 人 为 故障 进行 容错 ; 


运行 在 Erlang 虚 拟 机 上 的 Elixir 有 着 摆 越 性 能 和 可 靠 性 ， 虽 然 它 不 是 
一 门 纯 粹 的 函数 式 语言 ， 但 其 优 寞 表现 的 关键 是 它 不 适用 可 变 变 


= 
B 


























基于 actor 模 型 或 CSP 模 型 的 应 用 所 发 送 的 消 轧 是 不 可 变 的 ; 


在 使 用 线程 与 锁 模型 时 ， 不 变性 也 非常 有 用 一 一 不 可 变 的 数据 越 
多 ， 需 要 使 用 的 锁 就 越 少 ， 我 们 就 越 不 用 担心 内 存 可 见 性 融 来 的 问 


jel 


显而易见 ， 虽 然 我 们 可 能 不 使 用 函数 式 语言 ， 但 所 涉及 的 框架 和 代码 越 
来 越 多 地 受到 函数 式 规 则 的 影响 。 这 是 个 好 消 晨 一 一 不 仅 让 我 们 更 容易 














地 使 用 并 行 和 并 发 ， 也 让 代码 变 得 更 加 简洁 易 懂 且 可 靠 。 
未 来 是 分 布 式 的 


并 行 和 并 发 目前 的 复兴 主要 是 由 多 核 危 机 引发 的 。CPU 的 及 展 趋势 并 不 
是 大 幅 提 升 单 核 性 能 ， 而 是 增加 CPU 的 核 数 。 好 消息 是 利用 过 去 几 周 所 
学 到 的 知识 我 们 可 以 挖掘 出 多 核 的 潜力 。 


但 我 们 还 面临 着 另 一 个 危机 一 一 内 存 带宽 。 目 前 ， 双 核 、4 核 或 8 核 的 计 
算 机 疝 可 利用 共 胖 和 内存 高 效 地 通信 ， 但 如 果 涉 及 16 核 、32 核 甚 全 64 核 
呢 ? 


如 末 CPU 的 核 数 继续 按照 这 个 速度 增长 ， 共 享 内 存 就 会 成 为 瓶 贷 ， 分 布 
式 内 存 就 成 为 我 们 不 可 不 考虑 的 选择 。 未 来 的 计算 机 可 能 仍然 是 个 小 盒 
子 ， 但 从 程序 员 的 角度 来 看 ， 其 更 像 一 个 计算 机 集群 。 


我 认为 ， 基 于 消 奶 传递 的 技术 ， 例 如 actor 模 型 和 CSP 模 型 ， 随 着 时 间 友 
展会 变 得 愈加 重要 。 

你 肯定 猪 到 了 ， 过 去 的 七 周 内 我 们 没有 穷尽 并 行 和 并 发 的 每 一 种 可 能 。 
那 我 们 遗漏 了 些 什么 呢 ? 











9.2 ”未 尽 之 路 


撰写 本 书 时 ， 节 艰难 的 就 是 对 内 容 进 行 取 舍 。 下 面 简 要 介绍 一 些 我 们 尚 
未 涉及 的 技术 ， 以 及 一 些 上 自学 的 资料 。 





Fork/Join 模 型 和 Work-Stealing 算 法 


Fork/Join 是 随 着 Cilk 语 言 ! 流行 起 来 的 并 行 方法 ，Cikk 是 C/C++ 的 一 个 并 
行 变种 。 不 过 现在 许多 语言 环境 ， 包 括 Java* ， 都 实现 了 Fork/Join。 
Fork/Join 模 型 非常 适用 于 分 治 算法 ， 我 们 在 3.3 节 的 “分 而 治之 ”部 分 学 习 
过 分 治 算法 (实际 上 Clojure 的 reducer 内 部 就 使 用 了 Fork/Join 模 型 〉。 








1 http://www.cilkplus.org 


2 http://docs.oracle.com/javase/8/docs/api/java/util/concurrent/ForkJoinPool.html 


实现 Fork/Join， 通 常会 用 到 work-stealing 算 法 在 线程 池 中 共享 任务 。 
work-stealing 韭 常 类 似 于 Clojure 中 的 go 块 〈( 参 见 6.2 节 的 “go 块 ” 部 分 〉。 


数据 流 
我 们 在 3.4 市 中 接触 过 数据 流 ， 这 个 主题 值得 更 深入 的 讨论 。 本 书 之 所 
以 未 作 深入 讨论 的 主要 原因 是 ， 没 有 找到 一 门 合适 的 、 通 用 的 数据 流 语 


BS. 较为 合适 的 语言 是 多 重 编程 范式 语言 0z3 (Mozart 编 程 系 统 的 一 部 
ZN. 
TD) o 











3 http://mozart.github.io 





本 书 不 深入 讨论 并 不 意味 着 数据 流 不 重要 
量 使 用 了 基于 数据 流 的 并 行 技术 


A 


恰恰 相反 ， 硬 件 设计 中 大 
VHDL4 fll Verilog? 都 是 数据 流 语 





4 http://en.wikipedia.org/wiki/VHDL 


5 http://en.wikipedia.org/wiki/Verilog 


反应 型 编程 
与 数据 流 密切 相关 的 是 反应 型 编程 (reactive programming) 。 反 应 型 程 


序 可 以 自动 传播 变化 。 反 应 型 程序 之 所 以 引 人 关 注 ， 归 功 于 Microsoft 
Rx (Reactive Extensions) 库 6 和 其 他 的 库 ” 。 


https://rx.codeplex.com 
7 https://github.com/Netflix/RxJava 


反应 型 编程 与 之 前 我 们 学 习 的 几 种 技术 有 相似 之 处 ， 包 括 Storm 的 
topology， 还 有 actor 模 型 和 CSP 模 型 这 类 基于 消息 传递 的 技术 。 


函数 式 反 应 型 编程 


函数 式 反 应 型 编程 (Functional Reactive Programming, FRP) 是 反应 型 
编程 的 一 种 ， 通 过 对 时 间 进 行 建 模 来 扩展 函数 式 编程 。Elm 实现 了 并 
发 版 本 的 FRP， 其 运行 在 浏览 器 中 。 与 core.async 类 似 ， 在 处 理事 件 
时 其 提供 了 一 种 方法 来 避免 “回调 困境 "。Elm 是 本 系列 从 书 的 下 一 本 书 
(Seven More Languages in Seven Weeks [TDMD14]) 中 将 要 涉及 的 编程 
语言 之 一 。 


8 http://elm-lang.org 
网 格 计算 


网 格 计算 是 一 种 松 耦 合 地 建立 分 布 式 集群 的 方法 。 网 格 的 元 素 通 毅 是 异 
构 且 地 理 分 布 的 ， 甚 至 加 入 网 格 和 退出 网 格 都 可 能 是 目 发 的 。 


最 著名 的 网 格 计算 项 目 是 SETI@Home? ， 任 何人 都 可 以 通过 它 参 与 到 许 
多 项 目的 计算 中 。 





http://setiathome.ssl.berkeley.edu 
i DÀ 
元 组 空间 


元 组 空间 (tuple space) 是 分 布 式 联想 记忆 《distributed associative 





memory) 的 一 种 形式 ， 可 用 于 实现 进程 之 间 的 通信 。 元 组 空间 首次 在 
Linda 协 作 语 言 ”中 被 引入 〈 这 恰巧 是 20 世 纪 90 年 代 初 我 的 博士 论文 选 
题 )》， 现 在 也 有 一 些 正 在 开发 中 的 基于 元 组 空间 模型 的 系统 一 ,二 。 


10 phttp://en.wikipedia.org/wiki/Linda_(coordination_language) 
http://river.apache.org/ 


12 https://github.com/vjoel/tupelo 


9.3 ”越过 山 丘 


我 是 一 个 汽车 迷 ， 所 以 每 一 章 开 头 使 用 的 比喻 几乎 都 与 汽车 相关 。 与 汽 
车 类 似 ， 编 程 过 到 的 问题 会 呈现 不 同 的 类 型 和 不 同 的 规模 。 无 论 我 们 处 
理 的 问题 相当 于 一 辆 轻 量 级 定制 赛车 、 一 辆 量 产 家 用 轿车 ， 或 者 一 辆 重 
型 卡车 ， 我 都 可 以 目 信 地 说 ， 并 行 和 并 发 都 将 变 得 越 来 越 重 要 。 


无 论 你 是 人 否 会 直接 使 用 这 些 并 及 模型 ， 我 真 减 地 希望 过 去 七 周 所 学 的 知 
识 能 帮助 你 更 有 信心 地 迎接 未 来 的 项 目 。 祝 驾驶 《线程 ) 安全 。 
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看 完了 


如 采 您 对 本 书 内 容 有 疑问 ， 可 发 邮件 至 contact@turingbook.com， 会 有 编 
辑 或 作 译 者 协助 答疑 。 也 可 访问 图 灵 社 区 ， 参 与 本 书 讨论 。 


如 果 是 有 关 电 子 书 的 建议 或 问题 ， 请 联系 专用 客服 邮箱 : 


ebook@turingbook.com. 
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